7. Evaluation

Unsere Zielgruppen sind Schüler, die in ihren Schulen einen Informatikkurs belegt haben, sowie Studenten der Informatik. Für eine Evaluation der hier vorgestellten Software kooperieren wir mit Mitarbeitern des Lehrstuhls für kognitive Modellierung und Methodologie des Fachbereichs Psychologie an der Universität des Saarlandes und bereiteten gemeinsam ein Experiment vor, um statistisch korrekt auswertbare Daten unserer Software zu erhalten. Leider mußten wir feststellen, daß trotz der Bereitschaft der saarländischen Informatiklehrer nicht genug Schüler für das Experiment gewonnen werden konnten. Daher planten wir das Experiment mit Informatikstudenten im zweiten Semester, um eine hinsichtlich der Statistik ausreichende Teilnehmeranzahl zu erreichen. Um dem Studienplan besser zu entsprechen, führten wir das Experiment zunächst erst mit der Lernsoftware "Animation der lexikalischen Analyse" [BDKW99] durch. Da dieses Lernsystem zu dem hier vorgestellten System bis auf die freie Eingabe eigener Beispiele identisch gestaltet wurde, sollten die Ergebnisse zur Softwarebewertung bis zu einem gewissen Grad auch auf die "Animation der semantischen Analyse" zutreffen. Trotz unserer Bemühungen konnten wir die Anzahl der Probanden nicht wesentlich steigern, da lediglich 15 Informatikstudenten an unserem Experiment teilnahmen. Wir benötigen mindestens 30 Studenten, um statistisch signifikante Daten zu erhalten. Daher sind alle hier vorgestellten Resultate nur vorläufig und bis zu einer Wiederholung des Experiments dementsprechend nicht endgültig.

Die Evaluation basiert auf einem Leistungstest zwischen zwei Teilnehmergruppen. Die erste Gruppe lernte ein Teilgebiet der lexikalischen Analyse mit Hilfe der Software, die zweite Gruppe das gleiche Teilgebiet mit Hilfe eines äquivalenten Lehrtextes. Danach erhielten beide Gruppen einen identischen Bogen mit 19 inhaltlichen Testfragen. Die Software-Gruppe bekam zusätzlich einen speziellen Fragebogen zur Anwendbarkeit und Bewertung der Software, etwa zum Seitenlayout oder zur Animationssteuerung. Der Test bestand aus 9 Wissensfragen, deren Beantwortung primär die Erinnerung und Reproduktion explizit genannter Sachverhalte forderte, sowie aus 10 Transferfragen, deren Beantwortung vom Probanden ein tieferes Verständnis des Lerninhaltes abverlangte.

Der Leistungsmittelwert der Computergruppe war sowohl für die Wissens- als auch für die Transferfragen höher als der Leistungsmittelwert der Textgruppe. Ein um die Standardabweichung korrigierte Größe ist die Effektgröße d. Die berechnete Effektgröße ist für die Wissensfragen d ~ 0.74 und d ~ 0.70 für die Transferfragen. Nach gängiger Konvention in den Sozialwissenschaften wird ein Effekt mittel genannt, wenn 0.5 <= d < 0.8 und stark, wenn d >= 0.8. Gemessen an diesen Richtwerten ist die festgestellte Leistungssteigerung durch die Lernsoftware durchaus beachtlich. Da aber nur 15 Probanden an der Evaluation teilgenommen haben, läßt sich dieses Ergebnis noch nicht statistisch absichern.

Next:8. Abschlußbemerkungen
Up:Visualisierung und Animation der semantischen Analyse von Programmen
Previous:6. Visualisierungs- und Lernbeispiele
Andreas Kerren , 2000-04-24

Benutzer: gast • Besitzer: schwill • Zuletzt geändert am: