Peer-Reviewing ermöglichen

Kurzbeschreibung

Peer-Reviewing ist eine Methode, mit der sich Ihre Studierenden durch das Bewerten von Arbeitsergebnissen der Kolleg_innen Wissen und Kompetenzen nachhaltig aneignen bzw. diese festigen können. Nach der Konfrontation <div class="handy-tip-dialog wiki-content"> <p><div class="conf-macro output-block" data-hasbody="false" data-macro-name="include"><h3 id="PeerReviewingermöglichen-ZweiPhasendesLernprozesses">Zwei Phasen des Lernprozesses</h3><p>Die nachhaltige Aneignung von Wissen und Kompetenzen resuliert niemals allein aus der <strong>Konfrontation</strong> mit dem entsprechenden Content. Ohne <strong>Vertiefung</strong> geht nichts (siehe Exkurs "<a href="https://colab.tuwien.ac.at/x/zYdCAw" rel="nofollow">Physiologie des Lernens</a>"). Vertiefung bedeutet, dass die Lernenden sich in aktiver kognitiver Auseinandersetzung wiederholt mit den relevanten Inhalten beschäftigen. Sie bearbeiten (Rechen-)Übungen, zeichnen Pläne, schreiben Programme oder Papers. Der Vielfalt der Möglichkeiten sind hier kaum Grenzen gesetzt.</p><p>Eindeutig ist dagegen, dass die Arbeiten der Studierenden - welcher Art auch immer - erstens irgendwo und irgendwie <strong>gesammelt</strong> und zweitens mit <strong>Feedback</strong> versehen werden müssen. Denn nur durch <strong>Rückmeldungen</strong> über die "Qualität" der Ergebnisse, also dem bereits - oder eben noch nicht - erreichten Grad ihrer Korrektheit sowie Hinweisen dazu, was noch fehlt, können die Studierenden ihre Kenntnisse bzw. Kompetenzen  verbessern (siehe Exkurs "Bedeutung von Feedback für den Lernprozess").</p></div></p> </div> mit den entsprechenden Inhalten wird ein weiterer, notwendiger Schritt gesetzt, um den Wissenserwerb und den Kompetenzaufbau zu vertiefen. Vertiefung <div class="handy-tip-dialog wiki-content"> <p><div class="conf-macro output-block" data-hasbody="false" data-macro-name="include"><h3 id="PeerReviewingermöglichen-ZweiPhasendesLernprozesses.1">Zwei Phasen des Lernprozesses</h3><p>Die nachhaltige Aneignung von Wissen und Kompetenzen resuliert niemals allein aus der <strong>Konfrontation</strong> mit dem entsprechenden Content. Ohne <strong>Vertiefung</strong> geht nichts (siehe Exkurs "<a href="https://colab.tuwien.ac.at/x/zYdCAw" rel="nofollow">Physiologie des Lernens</a>"). Vertiefung bedeutet, dass die Lernenden sich in aktiver kognitiver Auseinandersetzung wiederholt mit den relevanten Inhalten beschäftigen. Sie bearbeiten (Rechen-)Übungen, zeichnen Pläne, schreiben Programme oder Papers. Der Vielfalt der Möglichkeiten sind hier kaum Grenzen gesetzt.</p><p>Eindeutig ist dagegen, dass die Arbeiten der Studierenden - welcher Art auch immer - erstens irgendwo und irgendwie <strong>gesammelt</strong> und zweitens mit <strong>Feedback</strong> versehen werden müssen. Denn nur durch <strong>Rückmeldungen</strong> über die "Qualität" der Ergebnisse, also dem bereits - oder eben noch nicht - erreichten Grad ihrer Korrektheit sowie Hinweisen dazu, was noch fehlt, können die Studierenden ihre Kenntnisse bzw. Kompetenzen  verbessern (siehe Exkurs "Bedeutung von Feedback für den Lernprozess").</p></div></p> </div> bedeutet, dass die Lernenden sich in aktiver kognitiver Auseinandersetzung wiederholt mit den relevanten Inhalten beschäftigen. (siehe Physiologie des Lernens <div class="handy-tip-dialog wiki-content"> <div class="conf-macro output-block" data-hasbody="false" data-macro-name="include"><h3 id="PeerReviewingermöglichen-PhysiologiedesLernens"><span style="color: rgb(51,51,51);"><strong>Physiologie des Lernens</strong></span></h3><p><span style="color: rgb(51,51,51);">Gemeinhin wird Lernen als <em>geistiges</em> Phänomen betrachtet. Das stimmt zwar auch, ist jedoch quasi eine bloß symptomatische Betrachtungsweise. Denn die geistigen Prozesse (Wahrnehmen, Denken, Lernen, Erinnern, etc.) sowie deren Ergebnisse (Kenntnisse, Einstellungen, Werte, Fähigkeiten, etc.) sind Funktionen von <em>chemo-elektrischen</em>, also physiologischen, Vorgängen im Nervensystem, die zu stofflichen, also <em>anatomischen</em>,<strong> </strong>Veränderungen führen. Im Detail geht es dabei um den Auf- und Ausbau von Synapsen, also den Interfaces zwischen den Nervenzellen (Neuronen). Die Einzelheiten tun jedoch an dieses Stelle nichts zur Sache. (Interessierte können diese im Exkurs "Neuronen und Synapsen" nachlesen.)</span></p><p><span style="color: rgb(51,51,51);">Entscheidend für das Verständnis des Lernens als physiologischer Prozess ist dagegen folgendes: Durch eine <em>einzelne</em> Lernerfahrung werden Synapsen in ihren chemo-elektrischen Eigenschaften <em>geringfügig</em> verändert. Dadurch ändert sich auch die Chance eines Reizes, über dieses Synapsen zum nächsten Neuron weitergegeben zu werden.</span></p><p><span style="color: rgb(51,51,51);">Zur Wiederholung: sowohl die physiologischen Eigenschaften der Synapsen als auch deren "Leitfähigkeit" ändern sich durch eine einzelne Lernerfahrung nur geringfügig. Für die intendierten Lernergebnisse wie sicheres Wissen oder stabile Kompetenzen ist jedoch eine hochgradige "Leitfähigkeit" erforderlich, die gleichen Reize sicher in die dafür vorgesehenen Bahnen zu lenken und nicht auf andere Wege abdriften zu lassen. (So entstehen nämlich Fehler und Irrtümer.)</span></p><p><span style="color: rgb(51,51,51);">Der Rest dieser Argumentation ist rein rechnerisch zu lösen. Wenn einzelne Lernerfahrungen nur zu geringfügigen Änderungen führen, für einen sicheren Lernerfolg jedoch hochgradige Änderungen erforderlich sind, muss die Zahl der Lernerfahrungen <em>vervielfacht</em> werden. <strong>Wiederholen, üben, anwenden, probieren, praktizieren, lösen</strong> - das sind nur einige Vokabeln, die diese Vervielfältigung beschreiben und in der didaktischen Terminologie als <strong>Vertiefung</strong> zusammengefasst werden. (Auch wenn dieser Begriff nicht ganz glücklich gewählt ist.)</span></p><p><br/></p><p><br/></p><p><br/></p></div> </div> ). Sie bearbeiten (Rechen-)Übungen, zeichnen Pläne, schreiben Programme oder Papers, usw. Im nächsten Schritt brauchen die Studierenden Feedback über die "Qualität" der Ergebnisse ihrer Aktivitäten.

Üblicherweise kommt dieses Feedback von Lehrenden, den Expert_innen für den jeweiligen Themen- bzw. Kompetenzbereich. Drei Argumente sprechen aber dafür, diese Funktion in speziellen Fällen an die Studierenden zu delegieren, also Peer-Review zu realisieren.

(1) Bei großen Gruppen können die Lehrenden aus Kapazitätsgründen gar nicht alle individuellen Arbeiten in der erforderlich kurzen Zeit mit reflektiertem Feedback versehen.

(2) Die Studierenden, die Reviews schreiben, steigen intensiver in den jeweiligen Themen- bzw. Kompetenzbereich ein - sowohl hinsichtlich der Tiefe als der auch Breite.

(3) Die Studierenden eignen sich nebenbei die wichtige soziale Kompetenz an, Feedback zu geben, zu bekommen und zu verarbeiten.

Tools

1.  Das Workshop-Modul in TUWEL

Was ist das? TUWEL bietet ein eigenes Modul für die Durchführung von Peer-Reviews an, genannt "Workshop". Damit können Sie alles vorkonfigurieren, was im Lauf der Peer-Review geschehen soll: Abgabe der Werke / Zuteilung der Reviewer_innen / Posting der Review-Kriterien / Abgabe der Reviews, Bewertung, etc..

• Demo: Das Workshop-Modul können Sie im Demo-Kurs TUWEL Einsatzszenarien selbst ausprobieren (für den Zugang sind sowohl TUWEL Login als auch eine einmalige Kurseinschreibung notwendig).
• Anleitungen: Peer-Review mit dem Workshop-Modul abbilden

                                  Peer-Review mit dem Workshop Modul durchführen

                                  Peer-Review mit dem Workshop Modul: Punkteberechnung

• Screenshot: Überblick über die 5 Phasen der Peer Review mit dem TUWEL-Modul Workshop:

2.  Der TUWEL-Studierendenordner + Google Spreadsheet

Was ist das? Das TUWEL-Modul Studierendenordner ermöglicht (im Unterschied zur Aufgabe), dass die hochgeladenen Arbeiten nicht nur für die Lehrenden, sondern auch für alle Studierenden sichtbar werden. Eine Zuordnung der Reviewer_innen kann damit zwar nicht durchgeführt werden, das lässt sich aber auf relativ einfache Weise via Google Spreadsheet in Form der Zuweisung durch Lehrende oder einer individuellen Selbstzuweisung der Studierenden bewerkstelligen. 

• Demo: Sie können den Upload Ihrer Arbeit im Studierendenordner aus der Sicht der Studierenden selbst ausprobieren - und zwar im Demo-Kurs TUWEL Einsatzszenarien (Kurseinschreibung notwendig).
• Anleitungen: Studierendenordner einsetzen

                                  Video: Studierendenordner - Abgaben einer Aufgabe veröffentlichen

                                  Video: Studierendenordner - Veröffentlichung von Studierendenuploads

• Screenshot Google Spreadsheet (Beispiel)

Anwendungshinweise und Stolpersteine

Empfehlungen für erfolgreiche Peer Reviews

Die Arbeiten von Kolleg_innen zu reviewen, stellt - intellektuell wie emotional - eine relativ hohe Herausforderung für Studierende dar. Diese können sie dann produktiv bewältigen, wenn zwei Voraussetzungen erfüllt sind:

(1) Die Studierenden können auf der Basis einer reflektierten Fehlerkultur arbeiten. Diese entsteht, wenn die Lehrenden kommunizieren, dass es ein konstitutives und notwendiges Element JEDES Lernprozesses ist, Fehler zu machen (siehe Physiologie des Lernens).

(2) Je konkreter und elaborierter die von Ihnen angebotenen Kriterien sind, umso produktiver werden die Reviews sein. Denn die Studierenden wären in den meisten Fällen überfordert, wenn sie die Kriterien der Reviews (Bewertung und qualitatives Feedback) selbst entwickeln müssten. 

Folgende Stolpersteine sollten Sie beachten

• Zuordnung der Reviews

Mit dem TUWEL-Modul Workshop lässt sich u.U. nicht alles organisieren, was Sie umsetzen möchten, wie z.B.

(a) die alternative Zuordnung der Reviewer_innen im Fall von mehreren Durchgängen (damit jede_r Reviewer_in die Arbeiten von unterschiedlichen Kolleg_innen kennenlernen kann).

(b) das Feedback der reviewten Studierenden auf das erhaltene Review (aus dem beide Parteien weitere wichtige Lernergebnisse ziehen können).

Wenn Sie über diese Features verfügen wollen, können Sie auf die zweite Option: Studierendenordner + Google Spreadsheet ausweichen (siehe Tools).

• Validität der Reviews

Die Reviews der Peers werden - aufgrund der damit verbundenen Lernprozesse - von mal zu mal besser. Daher sollten sie nicht unbedingt von Beginn an in eine etwaige Notengebung einbezogen werden.

Die argumentative Qualität bzw. die Detailliertheit der inhaltlichen Kritik wird nicht in allen Fällen an jene der Lehrenden herankommen. (Andererseits können Peers aufgrund ihrer jeweiligen individuellen Expertise u.U. Aspekte in die Kritik einbringen, die den betreffenden Lehrenden nicht verfügbar wären.)

Um das kritische inhaltliche Feedback durch Peer-Review zu optimieren, sollte jedes studentische Werk zumindest von zwei Peers begutachtet werden.

Aus langjährigen Erfahrungen wissen wir, dass die Reviews und damit auch die Bewertungen der Peers im Durchschnitt weder positiv noch negativ von jenen der Lehrenden abweichen. Die Studierenden sind sogar oft ein wenig strenger als die Lehrenden. Allerdings können Peer-Reviews in Einzelfällen von dieser Regel abweichen. Daher ist es sicher angebracht, zumindest stichprobenartig (5-10%) selbst zu reviewen, das eigene Review mit jenem der Peers zu vergleichen und im Fall signifikanter Abweichungen diese zu besprechen und gegebenenfalls zu korrigieren.

Das gleiche gilt, wenn die auf ein Werk bezogenen Reviews mehrerer Peers sehr heterogen ausfallen.

Weiterführende Informationen

Verschiedene Formen des Peer Reviews

In Anlehnung an Millard, Newman & Sinclair (2008) lassen sich folgende Formen des Peer-Assessment unterscheiden: 1:1 Review, Review Zirkel, Gruppen Review, Komitee Review, Tandems.

Praktische Beispiele von Peer Reviews

• Mechanik-VO an der TUW (ein Bericht in coLAB):
• Erwachsenenbildung und lebenslanges Lernen an der TUW (ein Konferenz-Beitrag):