Vergleich unterschiedlicher Erhebungsmethoden und Untersuchung der kognitiven Validität am Beispiel des Problemtyps «skalenbasiertes Messen»

Promovierende: Livia Murer
Keywords: Experimentelle Kompetenz, skalenbasiertes Messen, Videostudie, Stimulated Recall
Gutachtende: Prof. Dr. Susanne Metzger
Laufzeit: HS 2017 – FS 2020

Thematische Einordnung und theoretische Verankerung
Für die Diagnose naturwissenschaftlicher Kompetenzen werden nicht nur Instrumente zur Erhebung von Fachwissen, sondern auch Instrumente zur Erhebung experimenteller Kompetenzen benötigt. Hier knüpft das vom SNF geförderte Projekt «Experimentelle Kompetenzen von 12- bis 15-jährigen Jugendlichen in den Naturwissenschaften (ExKoNawi): Validierung eines interdisziplinären Experimentiertests» an. In diesem Projekt wird ein Kompetenzmodell verwendet, bei dem die Kompetenzprogressionen in fächerübergreifenden Problemtypen, die jeweils unterschiedliche Anforderungen an Strategiewissen stellen, separat beschrieben werden (Gut, Metzger, Hild, & Tardent, 2014). Im Rahmen des laufenden Projekts werden die drei Problemtypen «fragengeleitetes Unter­suchen», «effektbasiertes Vergleichen» und «skalenbasiertes Messen» auf ihre Validität geprüft. Im Rahmen dieser Dissertation werden anhand des Problemtyps «skalenbasiertes Messen» unterschiedliche Erhebungsmethoden und die kognitive Validität untersucht.

Es gibt verschiedene Studien, die unterschiedliche Erhebungsmethoden vergleichen (z.B. Baxter & Shavelson, 1994; Gott & Dugan, 2002; Shavelson, Ruiz-Primo, & Wiley, 1999). Einige Studien bestätigen beispielsweise einen hohen Zusammenhang zwischen der direkten Beobachtung und vorstrukturierten Protokollen, insbesondere wenn die Methoden gleichzeitig eingesetzt werden (z.B. Baxter & Shavelson, 1994).

Bezüglich der Passung kognitiver Prozesse zum postulierten Kompetenzmodell (kognitive Validität) unterscheiden Baxter und Glaser (1998) drei Situationen: (1) die Aufgaben lösen die intendierten kognitiven Prozesse aus und die Aktivierung dieser korreliert mit dem test score, (2) die Aufgaben lösen zwar die intendierten kognitiven Prozesse aus, die Auswertungsschemen und der test score sind aber nicht in der Lage diese Aktivierung widerzuspiegeln und (3) die Aufgaben sind so gestellt, dass die intendierten kognitiven Prozesse umgangen werden können. Entsprechend kann von kognitiver Validität gesprochen werden, wenn Situation (1) gezeigt werden kann.

Fragestellungen
Zu unterschiedlichen Erhebungsmethoden:

  • Inwieweit können die experimentellen Kompetenzen der Schülerinnen und Schüler durch ergänzende direkte Beobachtungen (Video Data) umfassender als allein durch vorstrukturierte Protokolle (Testhefte) erhoben werden?
  • Inwieweit dienen ergänzende Interviews (Recall Data) einer umfassenderen Beurteilung der experimentellen Kompetenzen im Vergleich zu vorstrukturierten Protokollen (Testhefte) und direkten Beobachtungen (Video Data)?

Zur kognitiven Validität:

  • Welche kognitiven Prozesse werden durch die Aufgaben des Problemtyps «skalenbasiertes Messen» ausgelöst und inwiefern stimmen diese mit den intendierten kognitiven Prozessen überein?
  • Inwiefern können verschiedene Qualitäten von kognitiven Prozessen mit den Kodierschemen und den sich daraus ergebenden test scores abgebildet werden?

Materialgrundlage
Pro Problemtyp wurden sechs Experimentieraufgaben (hands-on Aufgaben) entwickelt (Gut, Hild, Metzger, & Tardent, 2016). Die Aufgaben werden von den Schülerinnen und Schülern in Einzelarbeit gelöst. Die Ergebnissicherung erfolgt mittels Eigenrapportierung in vorstrukturierten Protokollen (Testhefte).

Im Rahmen der grossen Validierungsstudie wurden 24 Klassen viermal für eine Doppellektion besucht. Bei jedem Besuch führten die Schülerinnen und Schüler drei hands-on Aufgaben durch, pro Problemtyp eine. Im Rahmen dieser Dissertation fand mit einer Teilstichprobe eine zusätzliche Videostudie statt. Dafür wurden 27 Jugendlichen bei allen vier Besuchen während dem Bearbeiten der Aufgaben des Problemtyps «skalenbasiertes Messen» gefilmt (Video Data). Nach jedem Besuch fanden dann mit diesen Jugendlichen Stimulated Recall Interviews statt (Recall Data), bei denen die ausgefüllten Testhefte als Stimulus dienten (Kulgemeyer & Schecker, 2012).

Methoden der Datenauswertung
Um die unterschiedlichen Erhebungsmethoden zu vergleichen werden die Testhefte, Video Data und Recall Data mit vergleichbaren Kodierschemen kodiert, die dieselben Indikatoren enthalten. Die Kodierschemen sind hoch standardisiert innerhalb der sechs Aufgaben des Problemtyps «skalenbasiertes Messen».

Mit Hilfe eines standardisierten Kategoriensystems werden die kognitiven Prozesse erfasst, welche durch die Aufgaben des Problemtyps «skalenbasiertes Messen» ausgelöst werden. Um diese Einschätzung vorzunehmen, wird die Gesamtheit der Daten (Testhefte, Video Data und Recall Data) betrachtet.

Zentrale Literatur
Baxter, G. P., & Glaser, R. (1998). Investigating the Cognitive Complexity of Science Assessment. Educational Measurement: Issues and Practice, 17(3), 37–45.

Baxter, G. P., & Shavelson, R. J. (1994). Science performance assessments: Benchmarks and surrogates. International Journal of Educational Research, 21(3), 279–298.

Gott, R., & Dugan, S. (2002). Problems with the Assessment of Performance in Practical Science: Which way now? Cambridge Journal of Education, 32(2), 183–201.

Gut, C., Hild, P., Metzger, S., & Tardent, J. (2016). Vorvalidierung des ExKoNawi-Modells. In Implementation fachdidaktischer Innovation im Spiegel von Forschung und Praxis (Bd. 37, S. 328–331). Zürich.

Gut, C., Metzger, S., Hild, P., & Tardent, J. (2014). Problemtypenbasierte Modellierung und Messung experimenteller Kompetenzen. PhyDid - Beiträge zur DPG-Frühjahrstagung.

Kulgemeyer, C., & Schecker, H. (2012). Physikalische Kommunikationskompetenz - Empirische Validierung eines normativen Modells. Zeitschrift für Didaktik der Naturwissenschaften, 18, 29–54.

Shavelson, R. J., Ruiz-Primo, M. A., & Wiley, E. W. (1999). Note on sources of sampling variability in science performance assessments. Journal of Educational Measurement, 36(1), 61–71.

Livia Murer