|
Ziel ist die Unterstützung von Lehrkräften und nicht eine von außen bewertete Kontrolle der Wirksamkeit pädagogischen Handelns. Es geht auch nicht um einen Vergleich mit anderen Klassen, Schulen, Bundesländern oder Staaten (vgl. z. B. PISA-Konsortium, 2004). Vielmehr soll auf der Grundlage der EPA Informatik ein relativ objektives Instrument bereitgestellt werden, das den Lehrkräften hilft, ihre Arbeit und ihre Schüler besser einzuschätzen. Lehrer verfügen zu ihrem eigenen Missbehagen häufig über kein Kriterium für die Beurteilung der Qualität ihrer Arbeit (Herrmann, 2002, S. 116). Nachfolgend soll der Frage nachgegangen werden, ob das beschriebene Szenarium geeignet ist, dieses Defizit zu verringern.
Im Jahr 2004 wurde das Szenarium in einer ersten Phase entwickelt und an fünf Thüringer Gymnasien erprobt. Die Ergebnisse der ersten Phase ermutigten zur Fortführung der Arbeiten (Fothe, 2005b). Der praktischen Erprobung sollte im Jahr 2005 in einer zweiten Phase eine empirische Überprüfung der Eindrücke aus der Erprobungsphase folgen. Zur Teilnahme waren nun alle allgemeinbildenden Schulen mit gymnasialer Oberstufe im deutschsprachigen Raum eingeladen. Über das Vorhaben informierten die Fachzeitschrift LOG IN (Heft Nr. 133 (2005), S. 54) und mehrere Bildungsserver. Rund 10% der infrage kommenden Schulen aller deutschsprachigen Länder, Bundesländer und Kantone (Deutschland, Österreich, Schweiz) wurden zufällig ausgewählt und via E-Mail direkt angeschrieben.
Den beteiligten Informatiklehrern wurden auf einer Homepage ausführliche Informationen bereitgestellt (http://www.informatiktest.de). Die Testergebnisse der Schüler verblieben in der Schule und wurden von der Universität Jena bewusst nicht abgefragt, obwohl die Erfassung des Leistungsstands der Schüler zusätzliche Berechnungen und Interpretationen erlaubt hätte. Vielmehr dienten sie ausschließlich den Lehrkräften zur Informationsgewinnung über den Kenntnisstand ihrer Schüler. Wir konzentrierten uns darauf, ob die Informatiklehrer die Bereitstellung eines solchen allgemeinen, länderübergreifenden Tests als sinnvolles und hilfreiches Instrument zur Selbstevaluation ihres Unterrichts erachten. Sie wurden daher gebeten, die Wirksamkeit des Vorgehens einzuschätzen und dazu einen Online-Fragebogen auszufüllen.
Mit diesem Aufsatz wird die zweite Phase dokumentiert und anhand einer Begleitstudie untersucht. Um die positiven subjektiven Eindrücke der ersten Phase empirisch zu stützen oder zu widerlegen, werden die Einschätzungen der beteiligten Informatiklehrer statistisch ausgewertet, analysiert und interpretiert. Schlussfolgerungen für die weitere Arbeit schließen den Artikel ab. Die Studie soll nicht zuletzt auch einen Beitrag in der aktuellen Diskussion zur sinnvollen Arbeit mit Bildungsstandards liefern (Klieme, 2003). Dieser Aufsatz, der sich auf die Darstellung der fachdidaktischen Idee und der Untersuchungsergebnisse konzentriert, ist eine gekürzte Fassung eines Beitrags in der Fachzeitschrift LOG IN (Fothe et al., 2006). Der LOG IN-Beitrag enthält zusätzlich die Testaufgaben einschl. Musterlösungen und Erläuterungen sowie Informationen zur Homepage und zum Umfragesystem.
Aus Gründen der besseren Lesbarkeit bedienen wir uns in diesem Aufsatz der grammatikalisch männlichen Form. Gemeint sind selbstverständlich jeweils beide biologischen Geschlechter.
(a) Erläutern der Grundlagen von Rekursion und Iteration (Vergleichen von Rekursion und Iteration, Äquivalenz von Rekursion und Iteration sowie Prinzip der Abarbeitung eines rekursiven Algorithmus auf einem iterativ arbeitenden Computer),Die Kompetenzbeschreibung bezieht sich auf die EPA Informatik, in denen es heißt: "Die Prüflinge können verschiedene Problemlösungsstrategien und Techniken wie Iteration, Rekursion und Klassenbildung einsetzen." (KMK, 2004).
(b) Definieren von informatischen Begriffen auf rekursive Art,
(c) Sachgemäßes Verwenden der Syntaxdefinition einer Programmiersprache,
(d) Exemplarisches Analysieren und Erläutern von Computerprogrammen, denen rekursive oder iterative Algorithmen zugrunde liegen, und
(e) Exemplarisches Entwerfen und Implementieren von solchen Computerprogrammen.
Ein Interview sollte aus schulorganisatorischen Gründen maximal ca. 10 Minuten dauern. Den Lehrkräften wurden einige Fragen zur Verfügung gestellt, an denen sie sich in ihren Interviews ausrichten sollten:
|
|
|
Der Test regt an, die Ziele und Inhalte des Unterrichts zu überdenken. |
|
Der Test war sinnvoll, auch wenn er nicht speziell auf den in meinem Land gültigen Informatiklehrplan zugeschnitten war. |
|
Der Test gab mir Hinweise zum im Unterricht anzustrebenden Anforderungsniveau. |
|
Ich konnte aus den Testergebnissen neue Erkenntnisse über den Lernstand in den beteiligten Kursen ziehen. |
|
Die Erkenntnisse, die ich bei der Auswertung des Tests gewonnen habe, werden Auswirkungen auf meine Unterrichtspraxis haben. |
|
Das Verhältnis von Aufwand und Nutzen (Schreiben und Auswerten des Tests auf der einen Seite - gewonnene Erkenntnisse auf der anderen Seite) betrachte ich als angemessen. |
|
Es ist für einen effizienten Einsatz der Tests hilfreich, dass die Lehrkraft den Erwartungshorizont für jede Testaufgabe aufschreibt, bevor die Schüler den Test bearbeiten. |
|
Ich würde in meinem Unterricht gern auch Tests für andere Themenbereiche einsetzen. |
|
Mit Hilfe solcher Tests kann ich Erkenntnisse über den Erfolg meiner Arbeit gewinnen. |
|
Ich konnte aus den Interviews wichtige Informationen zur Herangehensweise der Schüler an die Bearbeitung der Aufgaben gewinnen. |
|
Ich konnte aus den Interviews wichtige Informationen zu den Ursachen von Fehlern gewinnen. |
|
Ich betrachte es als sinnvoll, einzelne Schüler nach der Bearbeitung des Tests zu ihren Antworten zu befragen. |
|
Durch die Interviews habe ich mehr über die Gedankengänge meiner Schüler beim Lösen von Aufgaben erfahren. |
|
Das Verhältnis von Aufwand und Nutzen bei den Interviews betrachte ich als angemessen. |
|
Die erhaltenen Hinweise zur Durchführung und Auswertung der Interviews waren für mich hilfreich. |
Man kann annehmen, dass an dieser Untersuchung besonders engagierte und interessierte Lehrer teilgenommen haben, denn die Beteiligung brachte zusätzliche Arbeitsbelastung mit sich. Allerdings sind in jedem Kollegium mehr und weniger stark engagierte Lehrer zu finden. Der Blick auf Erfahrungs- wie Altersstruktur der Teilnehmer zeigt eine heterogene und wohl der üblichen Struktur in Kollegien entsprechende Verteilung. Wenngleich es sich in der vorliegenden Untersuchung nicht um eine Zufallsstichprobe handelte, so sprechen die Sozialdaten jedenfalls nicht gegen die Übertragbarkeit der Ergebnisse zumindest auf den engagierten und diesen Innovationen aufgeschlossenen Teil der Lehrerschaft.
Bei der Auswertung wurden einschlägige Standardverfahren eingesetzt. In der Auswertung (Kreuztabellierung Test/Interview) zeigte sich, dass keine pauschale Beurteilung des Gesamtverfahrens im Sinne "alles positiv" oder "alles negativ" erfolgte. Die Items wurden differenziert beantwortet, was dafür spricht, dass die Beteiligten den Online-Fragebogen sorgfältig bearbeitet haben.
31 Teilnehmer kamen aus den alten Bundesländern, 26 aus den neuen. Thüringer Lehrer stellten in der vorliegenden Untersuchung mit 18 Teilnehmern die größte Population dar. Die Antworten der Thüringer Stichprobe weisen jedoch nicht eindeutig in eine Richtung. Sie stellen sich ähnlich heterogen wie die gesamte Stichprobe dar. Daher kann davon ausgegangen werden, dass die Thüringer keine systematische Verzerrung der Ergebnisse verursachen.
A: Ich stimme überhaupt nicht zu ( - - )Bei der Rezeption der Prozentangaben muss berücksichtigt werden, dass bei kleinen Gruppen unter Umständen mehrere Prozentpunkte für eine einzelne Person stehen.
B: Ich stimme nicht zu ( - )
C: unentschlossen ( 0 )
D: Ich stimme etwas zu (+)
E: Ich stimme voll zu (++)
Einblick in die Arbeitsweise der Schüler
Dieser Faktor richtet sein Augenmerk auf die Schüler. Es geht vor allem darum, ob das Vorgehen - Bearbeiten von Testaufgaben und Schülerinterviews - dazu geeignet ist, ein besseres Verständnis für die kognitiven Strategien der Schüler zu entwickeln und typischen Fehlerquellen auf die Spur zu kommen.
Frage 4: Ich konnte aus den Testergebnissen neue Erkenntnisse über den Lernstand in den beteiligten Kursen ziehen.
Der Großteil der Lehrkräfte (87%) gibt an, aus den Testergebnissen ihrer Schüler (zumindest einige) neue Erkenntnisse zu deren Lernstand gezogen zu haben (Frage 4). Diese Zustimmung kann sicher als ein deutliches Indiz für die Nützlichkeit des Verfahrens gewertet werden.
Frage 10: Ich konnte aus den Interviews wichtige Informationen zur Herangehensweise der Schüler an die Bearbeitung der Aufgaben gewinnen.
Auch die Interviews werden als wichtige Informationsquelle angesehen. Besonders die Zustimmung zur Frage 10 macht dies deutlich: 78% der Lehrkräfte, von denen die Frage beantwortet wurde, stimmen der Aussage (sehr) zu. Signifikante Unterschiede im "Lerngewinn" mithilfe der Interviews bei den Lehrern von Leistungs- und Grundkursen, beim Geschlecht der Lehrkräfte und bei den verschiedenen Altersgruppen waren nicht feststellbar, können also als mögliche systematische Einflussfaktoren ausgeschlossen werden.
Auswirkungen auf den Unterricht
Es geht darum, ob die Lehrer mittels der bereitgestellten Materialien und Anregungen Erkenntnisse gewinnen konnten, die Einfluss auf ihre weitere Unterrichtspraxis haben werden.
Frage 5: Die Erkenntnisse, die ich bei der Auswertung des Tests gewonnen habe, werden Auswirkungen auf meine Unterrichtspraxis haben.
Die meisten Befragten geben an, dass die Erkenntnisse, die sie bei der Auswertung des Tests gewonnen haben, Auswirkungen auf ihre Unterrichtspraxis haben werden (Frage 5). Auch hier können systematische Einflüsse des Geschlechts, des Alters und der Kursart ausgeschlossen werden. Jedoch unterrichten alle, die aussagen, dass es keine Auswirkung auf den Unterricht geben wird, Leistungskurse. Ein statistisch bedeutsamer Zusammenhang besteht zwischen den Erkenntnissen, die über die Schüler gewonnen werden konnten, und den Auswirkungen auf den Unterricht, d. h. Personen, die äußern, viele neue Erkenntnisse über Schüler gewonnen zu haben, äußern ebenfalls, dass dies Auswirkungen auf ihren Unterricht haben wird (bei einer Korrelation r=.33 und einer Irrtumswahrscheinlichkeit *p<.05).
Signifikante bzw. hoch signifikante Zusammenhänge bestehen zwischen Erkenntnissen über den Erfolg der eigenen Arbeit als Lehrer und Erkenntnissen aus den Interviews. Dies betrifft die folgenden drei Items:
Verfahren und Handreichungen
Hier geht es um das Vorgehen an sich und um die Zufriedenheit mit den Materialien, die den Lehrern an die Hand gegeben wurden.
Frage 1: Der Test regt an, die Ziele und Inhalte des Unterrichts zu überdenken.
Vier von fünf Teilnehmern stimmen der Aussage von Frage 1 zumindest etwas zu. Mit den bereitgestellten Materialien und Anleitungen waren die beteiligten Lehrkräfte bis auf wenige Ausnahmen (sehr) zufrieden. Ein statistisch hoch signifikanter Zusammenhang besteht zwischen der positiven Beantwortung der Frage nach der Zufriedenheit mit den zur Verfügung gestellten Materialien und Anleitungen und dem geäußerten Wunsch, weitere Tests im Unterricht einzusetzen (r=.34, **p<.01). Zusammenhänge zwischen der Zufriedenheit einerseits und dem Geschlecht bzw. alte/neue Bundesländer andererseits wurden nicht festgestellt. Diese Variablen können als Einflussfaktoren also ausgeschlossen werden. Die 41-50-Jährigen äußern sich am positivsten zum Material.
80% der Teilnehmer würden es sehr begrüßen, wenn sie Tests auch für andere Themenbereiche des Informatikunterrichts einsetzen könnten. Das mag auch daran liegen, dass extern bereitgestellte Tests als eine Möglichkeit angesehen werden, ein relativ objektives Feedback zum Erfolg des Unterrichts zu erhalten. 95% der Lehrer bestätigen die Aussage "Mit Hilfe solcher Tests kann ich Erkenntnisse über den Erfolg meiner Arbeit gewinnen." Ein sehr hoher Anteil der Lehrkräfte sieht in dem Test also ein gutes oder brauchbares Mittel zur Selbstevaluation.
78% der Lehrer sehen es als (sehr) wichtig an, den Erwartungshorizont für jede Testaufgabe und jeden Kurs auf der Grundlage der erhaltenen Musterlösungen und Erläuterungen zu formulieren. Auch bei künftigen Tests sollte den Lehrern daher ein Auswertungsbogen übergeben werden, in den sie den Erwartungshorizont für jede Testaufgabe eintragen, bevor die Schüler den Test bearbeiten. Der Bezugspunkt ist also ganz klar der eigene Unterricht, der jedoch auf entsprechenden Vorgaben beruht.
Kosten-Nutzen-Rechnung
Es wird erfragt, ob die "Kosten" - also der Aufwand, den die Durchführung des Tests (einschließlich Vor- und Nachbereitung) sowie die Interviews mit sich bringen - in akzeptabler Relation zum "Nutzen" - also dem Erkenntnisgewinn zu Lernstand und -verhalten der Schüler sowie weitergehenden Einsichten, wie der eigene Unterricht verändert werden kann - stehen.
Das Bild bezüglich der wahrgenommenen Kosten-Nutzen-Passung zeigt sich uneinheitlich: Es werden sowohl Zustimmung als auch Ablehnung geäußert. Die Einzelitem-Analyse ergibt, dass bezüglich der Verfahren Interview und Test unterschiedliche Einstellungen vorherrschen.
Frage 6: Das Verhältnis von Aufwand und Nutzen (Schreiben und Auswerten des Tests auf der einen Seite - gewonnene Erkenntnisse auf der anderen Seite) betrachte ich als angemessen.
Nur 4% der Lehrer stehen dem Test (sehr) kritisch gegenüber und 15% äußern sich unentschieden (Frage 6). Mehr als drei Viertel finden, dass Kosten und Nutzen des Verfahrens sich (sehr) positiv gegenüberstehen. Die Gesamtbilanz ergibt eine deutlich höhere Zustimmung als Ablehnung.
Frage 14: Das Verhältnis von Aufwand und Nutzen bei den Interviews betrachte ich als angemessen.
Bezüglich der Interviews ist eine größere Polarisierung festzustellen: Rund ein Viertel hält die Kosten-Nutzen-Relation für unausgeglichen, während zwei Drittel der Teilnehmer diese Relation für angemessen hält (Frage 14). Insgesamt erfährt dieser Teil mehr Zustimmung als Ablehnung. Signifikante Geschlechterunterschiede sind nicht feststellbar, wenngleich Frauen den Interviews tendenziell positiver gegenüberstehen. Es gibt keine Unterschiede hinsichtlich alte/neue Bundesländer und in den Altersgruppen. Lehrkräfte, die in Leistungskursen unterrichten, äußern sich deutlich positiver.
Die Kreuztabellierung zeigt, dass die Einstellung gegenüber den Interviews nicht mit der Einstellung gegenüber den Tests übereinstimmt: Ein Drittel der Befragten ist beiden Verfahren zugewandt und ein kleiner Teil äußert sich beiden Verfahren gegenüber kritisch. Jedoch lässt sich kein eindeutiger Trend ablesen. Bei Hinzuziehung des Faktors Einblick in die Arbeitsweise der Schüler ergeben sich eindeutigere Ergebnisse. Statistisch hoch signifikante Zusammenhänge lassen sich dann zwischen der Beantwortung der Frage nach der Kosten-Nutzen-Rechnung bei den Interviews und des Gewinns von Einsichten in die Lösungsstrategien von Schülern feststellen (r=.44, **p<.01). Die Zustimmung zur Aussage "Durch die Interviews habe ich mehr über die Gedankengänge meiner Schüler beim Lösen von Aufgaben erfahren." geht also mit der positiven Einschätzung der Kosten-Nutzen-Frage einher. Die Kosten-Nutzen-Beurteilung ist in hohem Maß davon beeinflusst, wie gewinnbringend die Interviews erlebt wurden. Für die Tests zeichnen sich ähnliche Ergebnisse ab, wenngleich nicht mit einem derart hohen Wert.
Ein hoch signifikanter Zusammenhang besteht zwischen der positiven Kosten-Nutzen-Rechnung sowohl bei Tests als auch bei Interviews und dem Wunsch nach weiteren Tests (r=.35, **p<.01). Dies wird wie folgt interpretiert: Diejenigen Lehrkräfte, die das gesamte Verfahren mit Tests und Interviews gewissenhaft durchlaufen haben, gewannen neue Einsichten in die kognitive Struktur ihrer Schüler. Dies führt zu größerer Zufriedenheit mit dem Gesamtverfahren.
Weiteres Ergebnis
Frage 2: Der Test war sinnvoll, auch wenn er nicht speziell auf den in meinem Land gültigen Informatiklehrplan zugeschnitten war.
Insgesamt 90% der Teilnehmer sind von der Brauchbarkeit des Tests (sehr) überzeugt, auch wenn er nicht auf den im eigenen Land geltenden Informatiklehrplan zugeschnitten ist (Frage 2). Gestützt wird diese positive Einschätzung einer übergeordneten, mehr am Thema als am Lehrplan orientierten Aufgabenkultur durch die sehr hohe Zustimmung der Lehrer zu der Aussage, dass der Test Aufschluss gibt über das anzustrebende Anforderungsniveau. Eindeutig positiv wird die Aussage beantwortet, dass auch für andere Themen extern bereitgestellte Tests gewünscht werden. Möglicherweise wird hier das Bedürfnis von Lehrkräften deutlich, über ein Mittel zur Selbstevaluation hinsichtlich der Wirksamkeit ihres Unterrichts zu verfügen.
Fothe, M.: Rekursion und Iteration: Voruntersuchung zu einem Test. In: Friedrich, S. (Hrsg.): Unterrichtskonzepte für informatische Bildung. 11. GI-Fachtagung Informatik und Schule INFOS 2005. Lecture Notes in Informatics, Bonn 2005b, S. 207-218.
Fothe, M.; Ludwig, H.; Küspert, K.; Wenzel, M.: Unterrichtsreflexion mit ungewöhnlichen Mitteln. Eine Studie zu Möglichkeiten der externen Unterstützung von Informatiklehrerinnen und -lehrern am Beispiel "Rekursion und Iteration". In: LOG IN Heft 141/142 (2006), S. 52-63.
Herrmann, U.: Wie lernen Lehrer ihren Beruf? Empirische Befunde und praktische Vorschläge. Beltz Verlag Weinheim und Basel 2002.
Klieme, E. et al.: Zur Entwicklung nationaler Bildungsstandards. Eine Expertise. Bildungsreform Band 1. BMBF, Berlin 2003.
KMK - Einheitliche Prüfungsanforderungen in der Abiturprüfung Informatik. Beschluss vom 1.12.1989 i. d. F. vom 5.2.2004. Luchterhand München, Neuwied 2004.
PISA-Konsortium Deutschland (Hrsg.): PISA 2003. Der Bildungsstand der Jugendlichen in Deutschland - Ergebnisse des zweiten internationalen Vergleichs. Waxmann Münster, New York, München, Berlin 2004.
|