Evaluation

Das Abschlusszertifikat Volksschule Kanton Aargau wurde in den ersten beiden Jahren begleitend zum Testlauf extern evaluiert. Dadurch konnten bereits während dem Testlauf Erfahrungen zusammengetragen, ausgewertet und laufend für Anpassungen genutzt werden. Die Evaluation erstreckt sich über alle Zertifikatsteile. Sie beinhaltet die Analyse der Leistungsdaten und die Analyse der Ressourcen und Prozesse.
 
Der Schlussbericht zur Evaluation orientiert sich an den sieben Zielen, welche bei der konzeptionellen Erarbeitung des Abschlusszertifikats angestrebt wurden, und kommt kurz zusammengefasst zu folgenden Resultaten:

Zielgruppe	Ziele	Mittel zur Zielerreichung* (=Zertifikatsteile)	Zielerreichung im Testlauf
Lernende	stufenunabhängige Standortbestimmung am Ende des 8. Schuljahrs	Stellwerk 8	erfüllt
	Ausweis über individuellen Lernzuwachs	Erfahrungsnoten	erfüllt
	Ausweis über selbständiges Arbeiten	Projektarbeit	erfüllt
	Aufrechterhaltung der Lernmotivation	Erfahrungsnoten, Projektarbeit	nicht erfüllt
	offizielle Zertifizierung	Abschlusszertifikat als Ganzes	erfüllt
Lehrpersonen	Förderung der Lernenden, Unterrichts- und Schulentwicklung	Stellwerk 8, Projektarbeit	teilweise erfüllt
Abnehmende	transparentes Ausweisen der Leistungen	Stellwerk 8, Projektarbeit, Erfahrungsnoten, Abschlusszertifikat als Ganzes	teilweise erfüllt

*Jeder Zertifikatsteil übernimmt mehrfache Funktionen

Ergebnisse zum Leistungstest

Der Leistungstest Stellwerk 8 misst die Leistungen der Lernenden stabil und zuverlässig. Wie erwartet sind die Überschneidungsbereiche der individuellen Testergebnisse zwischen den Schultypen gross. Das heisst ein beachtlicher Teil der Lernenden der Real- beziehungsweise der Sekundarschule erreicht Testergebnisse, die über dem Mittelwert der Testergebnisse der Sekundar- beziehungsweise der Bezirksschule liegen. Damit ermöglicht der Leistungstest eine stufenunabhängige Standortbestimmung am Ende des achten Schuljahres und trägt zu einer gerechteren Beurteilung bei.

Trotzdem sind es nur rund 50% der Lehrpersonen, welche der Validität des Test vertrauen. Die Interpretation der Testergebnisse war für die Lehrpersonen insbesondere zu Beginn des Testlaufs nicht ganz einfach. Sie sehen beim webbasierten Stellwerk 8 nicht, welche Fragen die Lernenden richtig oder falsch beantwortet haben, sondern erhalten eine Ergebnisrückmeldung zu den Kompetenzen der Lernenden auf einer standardisierten Skala.

Stellwerk 8 hat zusätzliche Interpretationshilfen entwickelt, welche aufzeigen, wie die Ergebnisse in Bezug auf den Referenzrahmen interpretiert werden können. Diese zusätzlichen Angebote von Stellwerk und die zunehmende Vertrautheit der Lehrpersonen mit dem kompetenzorientierten Testsystem haben dazu geführt, dass die Testergebnisse zunehmend in einen förderorientierten Unterricht eingebaut werden können. Eine gute Unterstützung dabei bildeten auch die mit Hilfe der begleitenden Evaluation angepassten und besser auf die Wünsche der Lehrpersonen abgestimmten Weiterbildungsangebote.

Ergebnisse zu den Erfahrungsnoten

Der Leistungstest und die Erfahrungsnoten messen nicht das Gleiche. Im Sinne einer gerechteren Beurteilung ergänzen sich die beiden Beurteilungsmethoden sinnvoll. Der Leistungstest Stellwerk 8 führt zu einer schultypenunabhängigen Beurteilung. Die Erfahrungsnoten hingegen lassen sich vor allem innerhalb des Schultyps interpretieren. Sie kommen nach wie vor als Ergebnis des Vergleichs innerhalb der Klasse zustande. In allen Schultypen streuen sie um den Mittelwert der Note 4,5 und stehen also für die Positionen innerhalb der Klasse. Die Erfahrungsnoten bilden aber auch Fachkompetenzen ab, die in einem webbasierten Leistungstest nicht gemessen werden können. Der Testlauf Abschlusszertifikat hat gezeigt, dass die Notenbeurteilung im neunten Schuljahr nicht durch die Testergebnisse von Stellwerk 8 beeinflusst wird.

Ergebnisse zur Projektarbeit

Im Gegensatz zu den Erfahrungsnoten streut die Beurteilung der Projektarbeit nicht um die Note 4,5. Je anspruchsvoller der Schultyp ist, desto höher ist auch der Mittelwert der Beurteilung der Projektarbeit. Die konsequent bezugsgruppenorientierte Beurteilung kann aufgrund des zur Verfügung stehenden Beurteilungsrasters, das sich auch empirisch bewährt hat, durchbrochen werden. Bei den Lehrpersonen und den Lernenden stösst die Projektarbeit auf hohe Akzeptanz. Das anvisierte Ziel des selbständigen Arbeitens wurde mehrheitlich erreicht. Indessen blieb die erhoffte Aufrechterhaltung der Lernmotivation der Schülerinnen und Schüler im letzten Schuljahr weitgehend aus.

Zusammenfassend kommen Urs Moser und Florian Keller, IBE Zürich, zu folgendem Fazit:

Die Analysen zeigen, dass das Beurteilungssystem anhand von Noten durch objektive Testergebnisse kaum beeinflusst wird. Testergebnisse, aber auch die Beurteilung der Projektarbeit als Teil eines Abschlusszertifikats führen deshalb zu einer signifikant umfassenderen Beurteilung junger Erwachsener, weshalb es sich lohnt, sie in einem Zertifikat auszuweisen. Mit dem Stellwerk 8 hat der Kanton Aargau ein Beurteilungssystem eingeführt, das für die Entwicklung der Sekundarstufe I wegweisend sein wird. Die Einteilung der Schülerinnen und Schüler in die Schultypen und Leistungsniveaus der Sekundarstufe I verlangt ein Beurteilungssystem, das sich an Kompetenzen orientiert und zu einer fairen Beurteilung führt.

Urs Moser, Florian Keller: Analyse der Leistungsdaten der Schülerinnen und Schüler, Dritter Kurzbericht, Oktober 2008