Evaluationsdurchführung

Die typischen Schritte einer Evaluationsstudie - Von der Fragestellung bis zur Auswertung der Daten

Typischerweise beginnt die Evaluation mit einer Formulierung eines Evaluationskonzepts bzw. eines Evaluationsdesigns. Darin werden zunächst die Evaluationsziele und Hauptfragestellungen festgelegt. Hierbei ist eine Grundsatzentscheidung über die Evaluationsstrategie zu fällen. Unterscheiden kann man eine eher qualitativ-entdeckende Evaluationsstrategie von einer eher quantitativ-messenden. In der Praxis kommen beide Strategien oft als Mischform vor, um sich der Vorteile beider zu versichern.

Die qualitative Strategie ermöglicht den Evaluatoren, neue, überraschende Aspekte zu entdecken, die bei der Bewertung des Lernszenarios durch die Beteiligten eine entscheidende Rolle spielen, obwohl die Evaluatoren vorher diese Gesichtspunkte gar nicht im Blickfeld hatten. Die quantitative Strategie liefert Zahlen, z.B. Unterschiede zwischen verschiedenen Personen oder Nutzergruppen hinsichtlich ihres Lernerfolgs oder in der Zufriedenheit mit einer eLearning-Maßnahme. Die Qualität von eLearning-Settings wird dadurch numerisch exakter bestimmt als bei der qualitativen Strategie, die mit offenen Fragen im Fragebogen operiert.

Die qualitativ-entdeckende Strategie arbeitet in erster Linie mit den qualitativen Methoden der empirischen Sozialforschung bzw. Evaluationsforschung (Kardorff 2000). In der eLearning-Evaluation steckt sie, was die Verbreitung angeht, noch in den Kinderschuhen. Bei der Durchführung einer qualitativen Evaluation wird ein Fragebogen mit offenen Fragen entwickelt. Der Befragte antwortet mit einem selbst formulierten Text. Beispiele für offene Fragen sind: Warum haben Sie an diesem Seminar teilgenommen? Was hat Ihnen an diesem Seminar gefallen? Was hat Sie an der Bedienung der Software gestört?

(frabo.psd)

Bei einer quantitativ-messenden Strategie geht es darum, exakt formulierte Hypothesen zu überprüfen und genau definierte Vergleiche zwischen verschiedenen Lehr-Lernszenarios oder zwischen Software oder Lerngruppen durchzuführen. Dazu müssen Variablen, deren Ausprägungen verglichen werden sollen, definiert und operationalisiert werden. Die Variablen sind die Bestandteile des Evaluationsfragebogens. Dieser enthält geschlossene Fragen mit vorgegeben Antworten zum Markieren. Zu wählen ist bei den Antworten mindestens zwischen zwei Alternativen (ja - nein, trifft zu - trifft nicht zu), oder es gibt eine Skala mit einem negativen und einem positiven Pol (z.B. –3, -2, -1, 0, +1, +2, +3), auf der die Befragten den Grad ihrer Zustimmung oder Ablehnung zu einer Aussage ausdrücken. Die Items des Fragebogens sollten in einer Vorstudie auf ihre Brauchbarkeit getestet werden. Die statistisch optimalen Items gelangen in die endgültige Fassung des Fragebogens.

Die nächsten Schritte sind die Datenerhebungen mit den so entwickelten Fragebögen an Nutzern, Lehrern und anderen Beteiligten, z.B. mit den IT-Experten einer Organisation. Außerdem werden Usability-Tests mit den Anwendern durchgeführt. Die verschiedenen Daten werden dann statistisch ausgewertet. Details der Fragebogenkonstruktion, Datenerhebung und Auswertung sind jedem Lehrbuch zur Evaluation zu entnehmen (z.B. Bortz & Döring 2001 oder Stockmann 2000).