Kurzbeschreibung:

Akademische Prüfungen können verschiedene Lernergebnis-Kategorien betreffen: vom puren Faktenwissen bis zur Fähigkeit, eine aktuelle Forschungsfrage wissenschaftlich zu bearbeiten. Diese beiden Pole sind gut definiert und weit verbreitet. Dazwischen liegt eine große Bandbreite von Prüfungs- bzw. Assessment-Formaten, die klar über die Kontrolle von Kenntnissen hinausgehen, ohne jedoch die Komplexität einer Abschlussarbeit zu erreichen.

Eine simple und weithin verwendete Kategorisierung von Lernergebnissen (entwickelt von Bloom 1956) kennt sechs kognitive Prozesse, die aufeinander aufbauen: Erinnern, Verstehen, Anwenden, Analysieren, Evaluieren und Erzeugen. Innerhalb dieses Schemas entspricht z.B. ERINNERN der Überprüfung von Faktenwissen, ERZEUGEN dagegen einer Abschlussarbeit.

Die Beschränkung auf sechs Kategorien ermöglicht allerdings nur eine sehr grobe Unterscheidung von Lernergebnissen, welche die vielschichtigen Realität von Bildungsprozessen nicht befriedigend abbilden kann. Daher wurde die ursprüngliche Gliederung aus den 1950er-Jahren von Anderson et al. (2001ff) weiterentwickelt. Quer zu den sechs kognitiven Prozessen werden nun vier inhaltlich klar unterscheidbare Wissenstypen gesetzt (die nicht hierarchisch geordnet sind). Somit entsteht eine erste Matrix:


Dimension der Inhalte (knowledge dimension)

Kognitive Prozesse

A Fakten

B Konzepte

C Prozeduren

D Metakognition

1 Erinnern

A1B1C1D1

2 Verstehen

A2B2C2D2

3 Anwenden

A3B3C3D3

4 Analysieren

A4B4C4D4

5 Evaluieren

A5B5C5D5

6 Erzeugen

A6B6C6D6

Für die Konstruktion von Prüfungsfragen und -Aufgaben sowie die Gestaltung der entsprechenden Abläufe kann bereits diese einfache Matrix wertvolle Aufschlüsse bieten.

(A1) steht dann z.B. für die Frage: "Wie heißt die Konstante zur Berechnung des Kreisumfangs?", (C3) für "Welche Fläche hat ein Kreis mit einem Durchmesser von 27 cm?", oder (B6) für "Welche Auswirkungen hat die Erhöhung der Jahresdurchschnittstemperatur am Stephansplatz um 1°C auf die lokale Taubenpopulation, und durch welche Faktoren sind sie im Detail zu erklären?"




Hinweis

Diese Seite befindet sich in Aufbau!



Tools:

Für jene Gruppe von Lernergebnissen, die sich auf das (wieder) Erkennen von passiv verfügbaren Inhalten beschränken, können weitgehend automatisiert auswertbare Tests eingesetzt werden. Lernergebnisse die aktiv abrufbar im Gedächtnis gespeichert werden, erfordern dagegen Assessment-Formate, die nicht mit vorformulierten Antworten arbeiten und daher nicht automatisiert auswertbar sind. (Weitere Details dazu im Abschnitt "Anwendungshinweise".)

1.  TUWEL-Modul: Test (für passiv verfügbares Wissen)

Was ist das? Die Aktivität Test ist kann als Leistungsüberprüfung (summative Funktion) und auch als Self-Assessment (formative Funktion) eingesetzt werden. Alle Fragetypen (außer Freitext-Fragen) werden automatisiert ausgewertet (z.B.: Multiple Choice-Fragen) und können auch mit automatisiertem verbalem Feedback verknüpft werden. Das Ergebnis steht unmittelbar nach dem Test zur Verfügung. Damit ist diese Aktivität besonders für große Gruppen geeignet, um zeitnah Feedback bereitszustellen. Das Feedback ist im Regelfall eher allgemein gehalten und kann Hinweise zur richtigen Lösung oder zur Vertiefung enthalten.

  • Demo: Ein Beispiel hierfür finden Sie im Kurs TUWEL Einsatzszenarien (für den Zugang sind sowohl TUWEL Login als auch eine einmalige Kurseinschreibung notwendig).
  • Anleitungen: Anleitungen zum Moodle-Test können Sie als PDF (ca. 30 Minuten Einarbeitung) und als Video (Dauer 13 Minuten) aufrufen.
  • Beispielhafter Screenshot

        

2.  TUWEL-Modul: Aufgabe (als Assessment-Prototy für aktiv abrufbares Wissen)

Was ist das? Die Aufgabe ist für alle Arten von Aufgabenstellungen in unterschiedlichen Abgabeformaten geeignet (Text, Bild, Audio, Video). Sie kann sowohl für Einzel- als auch Gruppenaufgaben eingesetzt werden (Achtung: Gruppen müssen vorher in TUWEL angelegt werden!). Die Aufgabe erlaubt das Hinterlegen einer Bewertung und eines Feedbacks für Einzelpersonen und Gruppen. Optional kann mittels der Voraussetzungen eine Musterlösung mit der Aufgabe verknüpft werden (z.B.: nach erfolgter Abgabe wird die Musterlösung für die Studierenden sichtbar).

  • Demo: Ein exemplarisches Beispiel finden Sie im Kurs TUWEL Einsatzszenarien (für den Zugang sind sowohl TUWEL Login als auch eine einmalige Kurseinschreibung notwendig).
  • Anleitungen: Anleitungen zu den Basis-Einstellungen können Sie als Video (Dauer 9 Minuten) oder als PDF (ca. 10 Minuten Einarbeitung) aufrufen. Hinweise zu den erweiterten Einstellungsmöglichkeiten finden Sie hier. Für die Veröffentlichung von Abgaben einer Aufgabe im Studierendenordner können Sie folgende Video-Anleitung (Dauer 5 Minuten) nutzen.
  • Beispielhafter Screenshot

         

3.  TUWEL-Modul: Datenbank

Die Datenbank dient der Sammlung von Arbeiten die in einem durchsuchbaren systematischen Zusammenhang dargestellt werden sollen, und ermöglicht gleichfalls Bewertung und Rückmeldung (auch durch Peers).

Was ist das?  Mit der Aktivität Datenbank können unterschiedliche Abgabefelder definiert werden. Das erlaubt eine strukturierte Sammlung von Abgaben, die anderen Personen im Kurs zur Verfügung gestellt werden können (z.B.: themenspezifische Literaturliste, Projektabgaben).

  • Demo: Ein exemplarisches Beispiel finden Sie im Kurs TUWEL Einsatzszenarien (Kurseinschreibung notwendig).
  • Anleitungen: Da die Einstellungen der Datenbank komplex sind, ist das Heranziehen einer Anleitung empfehlenswert: PDF (ca. 30 Minuten Einarbeitung).
  • Beispielhafter Screenshot:

         

4.  TUWEL-Modul: Forum

Ein Forum kann zur Einreichung und Bewertung für alle Formen von digitalen Dokumenten eingesetzt werden, die Ausgangspunkt für weitere Diskussionen werden sollen. Darüber hinaus können auch Rückmeldungen angebracht werden.

Was ist das? Die Aktivität Forum ermöglicht es Studierenden, sich innerhalb von TUWEL gegenseitig Feedback zu geben. Studierende posten ihre Abgaben in einem eigenen Forumsbeitrag. Die Beiträge anderer Personen sind sichtbar und können kommentiert werden. Alle Beiträge im Forum können von den Lehrenden beurteilt und kommentiert werden.

  • Demo: Ein Beispiel hierfür finden Sie im Kurs TUWEL-Einsatzszenarien (Kurseinschreibung notwendig).
  • Anleitungen: Anleitungen zum Forum sind hier aufrufbar: PDF (ca. 10 Minuten Einarbeitung), Video (Dauer ca. 5 Minuten).
  • Beispielhafter Screenshot:

         

Anwendungshinweise und Stolpersteine:

Effizienz versus Validität

Bei der Konstruktion von Prüfungsfragen bzw. -aufgaben und der Gestaltung der entsprechenden Abläufe spielt Effizienz eine wesentliche Rolle.

Unter diesem Gesichtspunkt geht es erstens darum, einmal entwickelte Fragen oder Aufgaben wieder verwenden zu können, und zweitens, die gegebenen Antworten mit möglichst geringem Arbeitsaufwand (im besten Fall also automatisiert) auswerten zu können. Letzteres trifft vor allem auf die Ebene des Erinnerns zu, aber auch manche Aspekte des Verstehens und des Anwendens lassen sich automatisiert (vor allem mit den verschiedenen Formen von Multiple-Choice-Fragen) beurteilen.

Erkennen versus Abrufen

Allerdings sind nicht einmal alle Lernergebnisse der Ebene Erinnern für die automatisierte Auswertung zugänglich, sondern nur jene des Erkennens (Wissen im Langzeitgedächtnis auffinden, das mit dargebotenem Material übereinstimmt). Wird jedoch erwartet, dass die Studierenden das gefragte Wissen aktiv aus dem Langzeitgedächtnis produzieren, ohne aus mehreren Optionen auswählen zu können, geht es um das Lernergebnis Abrufen. Der Unterschied klingt unbedeutend, ist jedoch gravierend. Dazu ein exemplarisches Beispiel zum Thema Kreisumfang:

Option (1): „Mit welcher der folgenden Formeln berechnet man den Kreisumfang?“ Antwortmöglichkeiten: (a): r2*pi  /  (b): 2r*pi  /  (c): r2+pi

Option (2): „Wie lautet die Formel für den Kreisumfang?“

In beiden Fällen lautet die richtige Antwort: 2r*pi, die damit erfassten kognitiven Prozesse sind jedoch nicht dieselben: Erkennen (bei Option 1) vs. Abrufen (bei Option 2). Wenn ich überprüfen will, ob jemand die richtige Formel aktiv verfügbar im Gedächtnis gespeichert hat, kann ich das nicht mit einer Multiple-Choice-Frage erreichen. Ich muss die Frage so stellen, dass die richtige Antwort im Freitext-Format gegeben wird.

Automatisierte Auswertung trotz Freitext

Im obigen Beispiel hätten wir zwar immer noch den Vorteil, auch eine Freitext-Antwort automatisiert auswerten zu können. Denn es gibt nur eine richtige Antwort, und diese muss auch eindeutig formuliert werden. (Nur die Reihenfolge der 2 Faktoren kann frei gewählt werden.) Das ist jedoch eher nur in Ausnahmefällen so (hauptsächlich bei einfachen mathematischen Formeln). In der Regel gibt es unterschiedliche Formulierungsmöglichkeiten bzw. Schreibweisen für die richtige Anwort. Und es kann auch mehrere richtige Antworten auf eine Frage geben. (Das gilt ja bekanntlich selbst in der Mathematik.)

Aus den eben angestellten Überlegungen resultiert der oben angesprochene Konflikt zwischen Effizienz und Validität. Mit geringem Zeitaufwand lassen sich in der Regel nur weniger anspruchsvolle kognitive Prozesse überprüfen. Die Ergebnisse solcher Tests sagen aber wenig über das Vorhandensein jener höherrangigen kognitive Prozesse aus, um die es im Studium tatsächlich geht: Analysieren, Evaluieren, Erzeugen. Und selbst beim einfachsten Lernergebnis des Erinnerns treten die genannten Einschränkungen auf.

(Zurück zu den Tools)

Weiterführende Informationen:

Genaue Differenzierung der intendierten Lernergebnisse

Um die möglichst valide Entscheidungen zur Gestaltung von Prüfungen zu erreichen, ist eine genaue Differenzierung der intendierten Lernergebnisse erforderlich, die von Anderson et al. (2001ff) geliefert wird. Sie führt zu einer Matrix mit 209 Feldern. Nicht alle Details sind in der Praxis gleich wichtig. Aber es kann sehr anregend sein, sich anhand der detaillierten Analysen und Beispiele zu überlegen: „Was genau will ich überprüfen? Was konkret sollen die Studierenden am Ende dieses Moduls wissen und können?“

Lorin W. Anderson et al.: A Taxonomy for Learning, Teaching, and Assessing: A Revision of Bloom’s. Pearson New International Edition 2014. ISBN 10: 1-292-04284-2

11 Dimensionen des Wissens x 19 kognitive Prozesse = die Matrix mit 209 Feldern

  Die Essenz der obigen Publikation als Handout

60 Prüfungsformate für die Hochschullehre

Dieses Buch bietet eine Sammlung innovativer Prüfungsformate und unterstützt dabei, das eigene Prüfungsportfolio zu erweitern. Dafür werden 60 Prüfungsformate vorgestellt und ihre Verwendbarkeit in der Hochschullehre reflektiert. Die systematische und übersichtliche Darstellung erleichtert die Übertragung in den eigenen Praxiskontext.

Die systematische Darstellung behandelt folgende Kriterien: Form, Kompetenzen, Gruppengröße, Dauer der Durchführung, Sozialform, Semesterbegleitend durchführbar, Durchführungsort, Einsatz in digitalen Kontexten.

 Julia Gerick, Angelika Sommer, Germo Zimmermann (Hrsg.): Kompetent Prüfungen gestalten: 60 Prüfungsformate für die Hochschullehre. Waxmann 2022 (2. Auflage). ISBN: 978-3-8252-5859-7

Beispiel: E-Prüfungen



Beratung



Bei allen offenen Fragen zu diesem Thema beraten wir Sie gerne:

.

Feedback

Für Feedback zu dieser Seite verwenden Sie bitte unser Feedbackformular in TUWEL:

Feedback geben in TUWEL ...

  • No labels