Schulische Evaluation
Selbstevaluation von Schule ist in Niedersachsen gerade im Fahrwasser der Schulinspektion ein ganz großes Thema. Da werden Stellen geschaffen, Verfahren erprobt und Evaluationskonzepte einander gegenübergestellt und diskutiert. Im Grunde läuft es auf viel Arbeit hinaus: Allein Fragen und mögliche Antwortmöglichkeiten zu erarbeiten dauert eine ganze Weile. Dazu kommt wie so oft die bittere Erkenntnis, dass eine Evaluation nur in kleinen Teilen wirkliche Überraschungen bieten wird. Weitaus niederschmetternder ist die Tatsache, dass man Defiziten in der Regel nur durch Geld- oder Personaleinsatz begegnen kann – von beidem ist ja bekanntermaßen eine Unmenge vorhanden.
Auch schwierig ist die Tatsache, dass die Menschen, die dann tatsächlich konkret die Evaluation durchführen, in der Regel dafür keinerlei Schulung oder Ausbildung an die Hand bekommen. Lehrer können sowieso alles, ihr Tag hat 24 Stunden und geschlafen wird nachts. Viel schwieriger wird es für Eltern und Schülern sein, für ihre Zielgruppe Fragen sowie sinnvolle Antwortmöglichkeiten zu ersinnen.
Dabei meine ich mittlerweile einige besondere Fallstricke für die Planenden erkannt zu haben:
- Vermeiden Sie Freitextfelder wenn irgend möglich. Nicht nur, dass sie schwer automatisiert auszuwerten sind – sie bergen die Gefahr von SuS dafür genutzt zu werden, unter Nennung von Namen von Lehrkräften zum Dampfablassen benutzt zu werden. Datenschutztechnisch können Sie in Teufels Küche kommen, wenn z.B. die Schulleitung die unzensierte Herausgabe dieser Daten verlangen sollte.
- Verwenden Sie eine konsequente und für die Beteiligten transparente Anonymisierung – ich werde noch später bloggen, wie so etwas technisch realisierbar ist.
- Eine grundsätzliche Schwierigkeit bergen allgemein gehaltene Fragen, z.B. „Mit der Unterrichtsgestaltung an er Schule xy bin ich zufrieden.“ SuS werden berechtigt einwenden, dass diese Fragen über alle Lehrkräfte gebogen nicht beantwortbar sind und sich auf die aus ihrer Sicht nichtssagendenste Antwortmöglichkeit zurückziehen, die eine spätere Auswertung stark verzerrt. Die Alternative von personalisierten Feedbacks zu einer Lehrkraft birgt Sprengstoff für den Schulfrieden und verletzt wahrscheinlich Datenschutzrichtlinien. Nettes Dilemma. Ich persönlich würde mich dieser Herausforderung stellen, weil ich das spannend finde. Problematisch ist natürlich, dass jede Lehrkraft (natürlich auch ein Herr Riecken) bei einer gelungenen Anonymisierung irgendwie ihr Fett wegbekommen wird – spannend wird es dann weiterhin, ob eine Schulleitung auf derartige Daten Zugriff erhalten dürfte und welchen realistischen Aussagewert (der Mensch ansich übertreibt ja gerne) eine solche Evaluation gerade bei uneliebten Lehrkräften hätte, die ihren Mythos schon über Jahre mit sich herumschleppen. Noch ein nettes Dilemma.
- Vermeiden Sie Fragen, die zwei Kriterien abprüfen, etwa: „XY ist ansprechbar und freundlich.“. Das sind zwei verschiedene Aspekte. Ich kann zwar freundlich, jedoch selten erreichbar sein oder umgekehrt, z.B. muss ja auch das Schulleitungsteam hin und wieder unterrichten und ist dann nicht ansprechbar für SuS oder Eltern.
- Sie werden es niemandem Recht machen können. Es wird immer an irgendeiner Stelle irgendeinen Ärger oder Verlangen nach Daten geben. Machen Sie sich also dringend im Vorwege mit den in Ihrem Land gültigen Datzenschutzgesetzen vertraut, um in einem späteren Diskurs angemessen reagieren zu können.
Insgesamt kann das alles eine spannende Erfahrung werden. Es können ja auch z.B. Lehrerinnen und Lehrer z.B. die Eltern- und Schülerschaft einer Schule evaluieren…
This work by Maik Riecken is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International
Man kann einige der angedeuteten Probleme kleiner stellen, wenn man bei der Erhebung des Feedbacks nicht nur an Anonymität, sondern auch Nicht-Verkettung denkt. Bei Fragebögen sind häufig alle Fragen auf einem zusammenhängenden Bogen.
Auch wenn die einzelnen Antworten für sich keinen Schluss auf eine bestimmte Person zulassen, kann dies in Kombination dennoch der Fall sein. Ein praktikabler erster Auswertungsschritt wäre daher das physische Trennen der einzelnen Fragen/Antworten voneinander.
Freitextfelder sind auch insofern problematisch, als über die Handschrift der Autor eben doch identifizierbar ist – gerade an Schulen.
Unsere Schule macht den gesamten Prozess elektronisch, d.h. über Radiobuttons in Webformularen – das genaue Verfahren blogge ich noch – eigentlich sollte die Identität nur mit erheblichem Aufwand zu ermitteln sein. Daher müsste zwar die Handschrift- nicht jedoch die Verkettungsproblematik wegfallen. Leider ist Sicherheit für die meisten Menschen zu unbequem, etwa wenn man einen Zettel lesen und auf einem anderen ankreuzen muss. Das stellt viele doch vor erhebliche Probleme im Bereich der Lesekompetenz… Dann muss man sich entscheiden: Möchte man eine repräsentatives Ergebnis oder möchte man viel erklären und eventuell stark streuende Daten – noch ein Dilemma.
Elektronisch ist die Nicht-Verkettung noch einfacher herzustellen, als bei der Papier-Geschichte. Wenn man denn dran denkt, den Teil mit „relational“ beim dahinterliegenden Datenmodell zu beschneiden, zum Beispiel nicht jedes Antwortset als Datensatz speichert, sondern z.B. bei Multiple Choice einfach nur Zähler inkrementiert.
Bin schon gespannt auf die Implementierungsbeschreibung! :-)
Wobei man da immer die Kirche im Dorf lassen muss. Derartige Evaluationssysteme, die die genannten Anforderungen erfüllen, gibt es tatsächlich – aber in der Regel nur für teures Geld oder mit erheblichem Aufwand, wenn es um die Erstellung von Zugangsdaten (einige professionelle Dienstleister erwarten hier Adressenlisten…) oder um Möglichkeiten der Auswertung geht.
Hier gilt es zwischen (leistbarem) Aufwand und Nutzen abzuwägen. Da es zwar Vorgaben zur Durchführung von Umfragen gibt, es jedoch vor allem an Geld zur technischen Umsetzung fehlt…
Pingback: Nein, Moodle ist kein System für Schüler, es ist eines für Lehrkräfte - riecken.de - Gedanken zu Bildung, Lehre und Schule
Guten Tag,
haben Sie Ihre Evaluationen vorher auf Papier durchgeführt oder immer schon online bzw. elektronisch?
Kennen Sie eine OpenSource Lösung für Umfragen auf Papier, also OMR-Software.
Da die Gelder, wie wahrscheinlich überall in der Bildung, auch in Sachsen knapp sind wird kaum in die IT investiert, somit gibt es keine ordentlichen Server und keine ordentlichen Menschen die diese betreuen können.
MfG
Frage 1:
Ich würde nicht auf die Idee kommen, das heutzutage noch auf Papier zu machen. Die Daten müssen für die spätere Präsentation meist eh wieder digitalisiert werden, sind also mindestens in eine Tabellenkalkulation zu übernehmen.
Frage 2:
OMR kann im Prinzip nur Multiple-Choice brauchbar auswerten – diese Einschränkung empfinde ich als gravierend. Schauen Sie sich einmal GrafStat als Alternative an. Die Daten würde ich in der Schule an einem PC erfassen lassen – z.B. PC-Raum.