Online abgehaltene Tests (TUWEL-Aktivität "Test") erlauben es, das Wissen der Studierenden ohne klassische Hörsaalpräsenz zu überprüfen. Damit daraus jedoch ein sinnvolles, treffsicheres und aussagekräftiges Messinstrument wird, sollten einige wesentliche Aspekte in der Fragenerstellung, Testvorbereitung und -durchführung beachtet werden. Diese "DOs & DON'Ts" werden hier zusammengefasst.
Die vorgestellten Methoden & Werkzeuge beziehen sich auf didaktische Aspekte sowie die technische Umsetzung in und mit TUWEL.
Ressourcen & Best Practices
Best Practices sind in folgendem Leitfaden sehr gut zusammengefasst:
Empfehlung zum Einsatz von Multiple-Choice-Prüfungen (TU München)
Kurzzusammenfassung Multiple-Choice-Prüfungen (TU München)
Anderson, L.W. & Krathwohl, D.R. (Eds.) (2001): A Taxonomy of Learning, Teaching and Assessing. A Revision of Bloom’s Taxonomy of Educational Objectives. Addison Wesley
Longman.
Didaktische Aspekte der Testplanung: was soll überprüft werden?
Zunächst sollte Klarheit darüber erlangt werden, wie das zu überprüfende Wissen überhaupt strukturiert ist (inhaltlich) und wie sich die Lernergebnisse nach Niveaugraden (Taxonomiestufen) unterscheiden, siehe dazu Beispiele im TUM-Leitfaden sowie die Taxonomietabelle aus Anderson/Krathwohl (2001):
Diese 6-teilige Einteilung des Stoffes zeigt auch, welche Teile sich tendenziell gut (Spalten 1 - 4 "erinnern" .. "Analysieren") bzw. schlecht (Spalten 5 - 6, "Bewerten"/"Entwickeln") mittels Multiple-Choice-Tests überprüfen lassen.
Nächster Schritt ist die Erstellung eines "Blueprints" des Tests: der Teststoff wird top-down nach inhaltlichen Aspekten vs. Taxonomieeinteilung aufgeteilt und gewichtet. Diese "Testlandkarte" quantifiziert die (erwarteten) Ansprüche, die der Test an die Studierenden stellen soll, recht detailliert. Diese Herangehensweise ist für alle Arten von Tests möglich und zielführend, denn so gelingt es systematisch, gut balancierte, treffsichere Tests zu entwickeln.
Umsetzung: Testdesign und inhaltliche Frageerstellung
Erst wenn klar ist, welche Inhalte auf welcher Taxonomieebene überprüft werden sollen (Blueprint, s.o.), sollte das eigentliche Design der Fragestellungen durchgeführt werden - dies ist dann wesentlich effizienter und zielsicher.
Im Fragedesign sind einige wesentliche Aspekte zu beachten. Jede Frage besteht aus dem Fragetext ("Aufgabenstamm") und mehreren Antwortoptionen zusammen. Die wichtigsten DO's & DONT's dabei:
- Einfache, klare, positive Formulierungen. Keine Verneinungen, keine Schachtelsätze verwenden! (Umständliche Fragestellungen/Antwortoptionen machen die Aussagekraft des Tests zum Lernstoff insgesamt schlechter und weniger treffsicher!)
- Generell gilt: die Frage soll anspruchsvoll aufgrund des Inhalts sein, nicht aufgrund ihrer Formulierung.
- Fragetexte sollen möglichst schon die zur Beantwortung erforderliche Information enthalten, also ohne Vorgabe der Antwortoptionen beantwortbar sein.
- Die Antwortoptionen sollen alle plausibel sein. Zumindest eine Antwort muss definitiv korrekt sein, die falschen Antworten sollen plausibel erscheinen und können auch typische Lösungsfehler enthalten, jedoch keine Phantasieantworten.
- Antwortoptionen müssen eindeutig zutreffen oder nicht. Kombinationsantworten sowie sehr ähnlich lautende Antworten, die sich z.B. nur in 1 Wort unterscheiden, vermeiden.
Das beste Fragedesign ist graue Theorie - erst durch tatsächliche Beantwortungen z.B. mittels Peer-Review der Fragen durch Dritte oder durch einen Vortest kann ermittelt werden, ob die Frage tatsächlich wie erwartet funktioniert. Lessons Learned dabei:
- Als FrageerstellerIn ist man gegenüber Fehlern schnell "betriebsblind". Dagegen kann mit ernsthaftem Peer Review und Vortests vorgegangen werden.
Peer-Review muss ernsthaft durchführt werden: Die Reviewer müssen unter Echtbedingungen (verfügbare Quellen & Informationen, Original-Wortlaut der Frage und Antwortoptionen, evtl. Zeitbeschränkung) die Antworten bestimmen, ohne zuvor die korrekte Antwort zu kennen.
Ein guter Ansatzpunkt/Hinweis ist es, wenn ein Peer-Review mit z.B. KollegInnen erfolgt und die KollegInnen (auch nur Kleinigkeiten) zur Fragestellung rückfragen ("wie ist das gemeint?", "meinst du <XY>?", ...): dies deutet darauf hin, dass die Frage potentiell bereits zu unklar/unvollständig formuliert ist. Dies ist schnell ein blinder Fleck im Peer-Review!
- Gruppenaufteilung / Fragenvarianten sind besonders auf Vergleichbarkeit der Taxonomieeinordnung und Aufwand zu überprüfen, sowohl a priori (peer review, Vortest), als auch nach tatsächlicher Durchführung (z.B. Vergleich der Punkteverteilungen der verschiedenen Testgruppen).
- Statistische Auswertung der Fragen-Performance zeigt rasch (bei vielen Beantwortungen), ob Fragen unklar oder falsch gestellt sind. Dies kann passieren, wenn jedoch falsche Fragen im Test enthalten sind, müssen entsprechende Korrekturmaßnahmen (Korrektur der Beurteilungen, Streichung der Fragen, etc.) getroffen und kommuniziert werden. Ein bewusstes Weiterentwickeln der Fragensammlung über die Testungen (Semester, Jahre) hinweg "putzt" die Fragensammlung und maximiert die Testqualität.
Technische Realisierung in TUWEL
TUWEL bietet die Aktivität "Test" und darin mehrere Fragetypen. Allgemeine Bedienung und Konfiguration wird in den TUWEL-Anleitungen bzw. Cheatsheets erklärt.
Folgende zusätzlichen Aspekte sind für Multiple-Choice-Tests relevant:
Die Testbedingungen von Onlinetests (außer im Hörsaal) sind schlecht oder nicht kontrollierbar.
- Gegenmaßnahmen: Fragen & Tests so erstellen, dass sie in jeweils mehreren Varianten vorliegen, in der Reihenfolge zufällig gemischt abgefragt werden, jeweils nur die aktuelle Frage sichtbar ist, kein vor/zurück-springen möglich ist, und somit die Fragen auch atomar sind (TUWEL unterstützt bei zufälliger Fragenreihenfolge keine Gruppierung von Fragen).
Wichtiger Hinweis: das Distance Learning Team empfiehlt diese Einstellung nicht! Fragen sollten - wie im Präsenzsetting - für etwaige nachträgliche Änderungen aufrufbar sein, Fragen sollte in beliebiger Reihenfolge abgearbeitet werden können.
- Somit hat jedeR StudierendeR auch bei paralleler Bearbeitung (nebeneinander) mit hoher Wahrscheinlichkeit eine für sich selbst einzigartige Frage in Bearbeitung.
- Eine straffe, sinnvolle Zeitlimitierung des Onlinetests verhindert zumindest teilweise die Möglichkeit, dass "gesammelte" Erarbeitungen der Fragen in Teams von Studierenden erfolgen [da das Wissen der individuellen Studierenden ja überprüft werden soll], völlig verhinderbar ist dies außerhalb des Hörsaals aber wohl nicht.