Autorin: Dr. phil. Livia Murer
Gutachtende: Prof. Dr. Susanne Metzger (PH FHNW), Prof. Dr. Philipp Treutlein (Universität Basel), Prof. Dr. Andreas Vorholzer (Technische Universität München)
Projektdauer: 2017-2022

Abstract
Die Förderung experimenteller Kompetenzen im naturwissenschaftlichen Unterricht ist zentral (z. B. EDK, 2011) und somit auch die Frage, wie diese präzise und valide diagnostiziert werden können. In der Dissertation wurde die Diagnose experimenteller Kompetenzen bei Tests mit Realexperimenten am Beispiel von Aufgaben zum naturwissenschaftlichen Messen untersucht. Hierbei wurden verschiedene Erhebungsmethoden verglichen und das Testverfahren kognitiv validiert.

Bei Tests mit Realexperimenten können experimentelle Kompetenzen z. B. durch Schüler*innen-Protokolle, Videoaufnahmen während des Experimentierens oder anschliessende Interviews diagnostiziert werden. Schüler*innen-Protokolle bieten eine testökonomische Möglichkeit zur Diagnose experimenteller Kompetenzen bei Tests mit Realexperimenten, es bleibt aber fraglich, inwiefern diese eine präzise Diagnose ermöglichen (Abrahams et al., 2013). Damit die Ergebnisse der Diagnose kognitiv valide Schlüsse bzgl. der Kompetenzen der Lernenden im intendierten Bereich zulassen, muss die kognitive Validität untersucht werden, da diese beschreibt, inwiefern die intendierten Konzepte zum Lösen der Aufgaben verwendet werden (Messick, 1995). Dabei gleicht die Frage nach der Validität eines Testverfahrens einem Argumentationsprozess, bei dem nach Hinweisen für bzw. gegen die Validität gesucht wird (Messick, 1989).

An der Studie nahmen 27 Schüler*innen des 8. Schuljahrs teil, wobei diese jeweils vier Experimentieraufgaben zum naturwissenschaftlichen Messen bearbeiteten (N_total = 108). Während des Experimentierens füllten die Schüler*innen vorstrukturierte Protokolle aus und wurden dabei videografiert. Nach dem Bearbeiten wurden sie in Einzelinterviews zu den Experimenten befragt.

Die Ergebnisse der Kompetenzdiagnose durch die verschiedenen Erhebungsmethoden wurden bzgl. der Genauigkeit des Ergebnisses der Diagnose verglichen. Hierfür wurden die Schüler*innen-Protokolle, Videos und Interviews mit vergleichbaren Kodiermanualen ausgewertet und daraufhin die Ergebnisse der Schüler*innen-Protokolle mit den Ergebnissen der Videos und Interviews kombiniert. Die Videos und Interviews wurden nicht isoliert, sondern zusammen mit den Protokollen betrachtet, da die Aufgabenstellungen in den Protokollen zu finden sind und somit auch die Grundlage für die Videos während des Experimentierens und für die Interviews zu den Experimenten bilden. Die Ergebnisse zeigen, dass es für eine präzise Diagnose experimenteller Kompetenzen bei Tests mit Realexperimenten Schüler*innen-Protokolle und Interviews braucht. Somit sollten Schüler*innen im Unterricht auch zu den Experimenten befragt werden, da sie anscheinend nicht alles in den Protokollen festhalten.

Für Hinweise für kognitive Validität des Testverfahrens wurden die Interviews mit einem Kategoriensystem zu Aspekten des naturwissenschaftlichen Messens ausgewertet. Danach wurden die kategorisierten Aussagen in einem Expert*innen-Rating hinsichtlich der Übereinstimmung mit den intendierten Konzepten eingeschätzt. Im Rahmen des Validierungsprozesses konnten so einige Hinweise für kognitive Validität gefunden werden. Somit zeigt das verwendete Testverfahren eine kognitiv valide Möglichkeit zur Diagnose experimenteller Kompetenzen von Schüler*innen des 8. Schuljahrs bei Aufgaben mit Realexperimenten zum naturwissenschaftlichen Messen.

Literatur
Abrahams, I., Reiss, M., & Sharpe, R. (2013). The assessment of practical work in school science. Studies in Science Education, 49(2), 209–251.

Erziehungsdirektorenkonferenz (EDK) (Hrsg.). (2011). Grundkompetenzen für die Naturwissenschaften - Nationale Bildungsstandards.

Messick, S. (1989). Validitiy. In R. L. Linn (Hrsg.), Educational measurement (3. Auflage). New York: American Council on Education, 13-103.

Messick, S. (1995). Validity of psychological assessment: Validation of inferences from persons’ responses and performances as scientific inquiry into score meaning. American Psychologist, 50(9), 741–749.