Evaluation im eLearning

An welchen Aspekten eines multimedialen Lehr-Lernszenarios sollten Evaluationsstudien grundsätzlich ansetzen?

eLearning ist ein im weitesten Sinne multimediales Lernszenario, das in verschiedenen Settings realisiert werden kann. Dazu gehören z.B. sowohl Seminare, in denen Software unterstützend eingesetzt wird, als auch Lernformen, bei denen die Lernenden ohne Begleitung durch Lehrer oder Dozenten am Computer ein Lernprogramm allein durcharbeiten (siehe: Typen von Lernszenarien). Die Evaluation im eLearning ist zumeist Teil einer umfassenden Konzeption zur Bildungsevaluation. Interessieren allein die technischen und gestalterischen Aspekte einer Software, d.h. ihre Funktionalität und Handhabbarkeit, spricht man von Usability-Tests.

Die Usability-Tests sind oft ein Teil der Evaluation einer Lernsoftware. Eine echte Evaluation geht aber über Usabilityaspekte hinaus. Erst dann, wenn Aspekte des gesamten Lernszenarios mit Bezug auf die Lernvorgänge der Nutzer und auf die Lernthemen und Lernziele eines Lernszenarios bewertet werden, ist der Begriff „Evaluation im eLearning“ angebracht. Schlechte Werte in der Usability, in der Bedienbarkeit der eingesetzten Software, führen häufig zu schlechten Ergebnissen in der Evaluation, wenn sich in der Evaluation die Nutzerperspektive niederschlägt.

Alle Aspekte eines multimedialen Lehr-Lernszenarios können zum Gegenstand der Evaluation werden: Lernsoftware, Lernumgebung und Lehrszenario, Autoren, Lehrende, Lerner und schließlich auch die Interaktion zwischen den verschiedenen Personen und Aspekten. Die folgende Abbildung zeigt zentrale Aspekte einer Evaluation im eLearning.

Eine eLearning-Evaluation sollte den inneren Zusammenhang zwischen diesen verschiedenen Aspekten eines multimedialen Lehr-Lernszenarios thematisieren. Eine Verengung allein auf monetäre Aspekte oder Lernerfolge lässt kein differenziertes Urteil über die Lernpotenziale eines eLearning-Szenarios zu, da in diesem Fall unterschiedliche Lernformen und unterschiedliche didaktische Konzepte ohne Bezug auf unterschiedliche Nutzergruppen analysiert werden.

In vielen Evaluationen zum eLearning wird nur ein Vergleich zwischen verschiedenen Lehrszenarien (z.B. Online-Lehre vs. Präsenzlehre) in Hinsicht auf den Lernerfolg (z.B. Prüfungsnoten) durchgeführt. Auf diese Weise hofft man, die Höherwertigkeit bestimmter Lehrmethoden nachzuweisen. Die Ergebnisse fallen aber zumeist negativ aus, da die Qualität bestimmter Lehrmethoden sich nur in Zusammenhang mit bestimmten Lerngruppen oder Lerntypen belegen lässt. Anders ausgedrückt: die Vielfalt der Lernervariablen (Motivation, Lernstil, Bildungsgrad, Computererfahrung u.a.) wirkt sich nivellierend auf mögliche Lernerfolgunterschiede zwischen verschiedenen Lehrszenarios aus. Im statistischen Sinn werden Evaluationsstudien, die global Lernszenarien in Hinsicht auf Lernleistungen der Teilnehmer vergleichen, zumeist nicht signifikant. Der amerikanische Pädagoge Thomas L. Russell hat eine Übersicht über dementsprechend „erfolglose“ Evaluationen im anglo-amerikanischen Bildungsbereich zusammengestellt (Russell 1999, Webseite (http://www.nosignificantdifference.org).

Mögliche Fragestellungen einer Evaluation, die sich demgegenüber differenziert auf Lernformen und didaktische Konzepte beziehen, sind:

Sind die didaktischen Leitlinien (der Lehrenden wie der Autoren) im programmierten Content richtig und ausreichend umgesetzt worden?
Wurde die Kommunikation im Forum der Lernumgebung von den Nutzern oder den Lehrenden als hilfreich für den Lernfortschritt empfunden?
Führen die umgesetzten didaktischen Leitlinien zu einem besseren Lernerfolg bei Lernenden mit einem bestimmten Lernstil oder Motivationstyp im Vergleich mit Lernenden eines anderen Typs?

Der dritten Frage wurde z.B. bei der Evaluation des Methoden-Lehre-Baukastens, einem Lernprogramm zur Statistik, nachgegangen (Schulmeister, Vollmers, Gücker & Nuyken 2005).

Unterschiedliche Perspektiven zum Nutzen von eLearning

Lohnt sich der Einsatz von eLearning an unserer Schule? Unter dieser Leitfrage haben Bildungswissenschaftler der Fachhochschule Nordwestschweiz (http:/www.fhnw.ch) einen Kosten-Nutzen-Kriterienkatolog zum e-Learning für Schulen und Hochschulen entwickelt. Es gibt drei Kategorien von Kriterien: Monetäre Größen (z.B. Anschaffungskosten), quantifizierbare Größen (z.B. Lernergebnisse) und nicht quantifizierbare Größen (z.B. Widerstände von Nutzern). Die Kriterienkataloge für Lehrende, Studierende und Institutsleiter unterscheiden sich.

Beispiel öffnen

Literatur:

Russell, T. L. (1999): The nonsignificant difference phenomenon. North Carolina State University, Raleigh, North Carolina.

Enthält eine Übersicht über statistisch„erfolglosen“ Evaluationsstudien im anglo-amerikanischen Bildungsbereich. Auf der dazugehörigen Website befindet sich auch eine Liste der Studien.

Schulmeister, R., Vollmers, B., Gücker, R., Nuyken, K. (2005): Konzeption und Durchführung der Evaluation einer virtuellen Lernumgebung: Das Projekt Methodenlehre-Baukasten. In: Bachmair,B. Diepold, P., de Witt, C.: Handbuch Medienpädagogik Bd. 5, Opladen: Verlag für Sozialwissenschaft.

Die Autoren umreißen ein Evaluationskonzept, das didaktische Aspekte eines Lehr-Lernszenarios mit individuell unterschiedlichen Lernstilen der Nutzer verbindet.

Druckversion