Validierung der Domäne des kreativen Denkens in PISA 2022 und automatische Kodierung der sprachlichen Antworten

Als innovative Domäne in PISA 2022 wird das kreative Denken der Schüler*innen erfasst. Kreatives Denken, eine wichtige Voraussetzung für den individuellen und gesellschaftlichen Erfolg in den kommenden Jahrzehnten (Lucas und Spencer 2017), wurde bis dato noch nicht systematisch international verglichen. Die OECD stellt sich als erstes mit der Schulleistungsstudie PISA dieser Herausforderung.

Der Contractor der OECD (ACT Next) hat hierzu Instrumente zur Erfassung von drei kreativen Denkprozessen in vier Subdomänen (Abbildung 1) entwickelt (OECD 2019) und deren Interrater-Reliabilität in drei kleineren Studien überprüft. Zudem sollen als Kontextfaktoren kreativen Denkens bei Schüler*innen, Lehrkräften und Schulleitungen unter anderem folgenden Merkmale in Fragebogenform erfasst werden: Vorstellungen von und Offenheit gegenüber Kreativität, kreative Aktivitäten inner- und außerhalb der Schule sowie in der Familie, kreativitätsbezogene Selbstwirksamkeitserwartung und Selbstkonzept.

Bevor Testergebnisse interpretiert werden können, um anschließend die Bildungspolitik zu informieren, bedarf es einer Validierung der Messinstrumente. Das heißt, es muss sichergestellt werden, dass der Test auch wirklich kreatives Denken (in all seiner Komplexität) erfasst. Aufgrund der innovativen Natur dieser neuen Domäne in PISA, konnte sich die Instrumentenentwicklung an keinen Vorarbeiten im standardisierten, internationalen Assessment orientieren. Daher liegt bei diesem Test ein besonderes Augenmerk auf der Validität. Zu diesem Zweck werden in einer nationalen Ergänzungsstudie in Deutschland weitere Instrumente im Rahmen der Kontextfragebögen eingesetzt. So wird beispielsweise divergentes Denken sowie kreative Leistung (Diedrich et al. 2018) zur Überprüfung der ökologischen Validität national zusätzlich erhoben.

Ein weiterer Strang dieses Projekts widmet sich der Exploration der Möglichkeiten automatischer Kodierung offener Textantworten (Zehner et al. 2016) auf kreative Stimuli. Dazu soll eine Software eingesetzt werden, die die Semantik der Antworten vergleichen kann. Zudem soll die internationale Vergleichbarkeit der Kodierung der Aufgaben zum Bereich des kreativen Denkens untersucht werden.

Literaturverzeichnis

Diedrich, Jennifer; Jauk, Emanuel; Silvia, Paul J.; Gredlein, Jeffrey M.; Neubauer, Aljoscha C.; Benedek, Mathias (2018): Assessment of real-life creativity: The Inventory of Creative Activities and Achievements (ICAA). In: Psychology of Aesthetics, Creativity, and the Arts 12 (3), S. 304–316. DOI: 10.1037/aca0000137.

Lucas, Bill; Spencer, Ellen (2017): Teaching Creative Thinking. Developing learners who generate ideas and can think critically. La Vergne: Crown House Publishing (Pedagogy for a changing world). Online verfügbar unter https://ebookcentral.proquest.com/lib/gbv/detail.action?docID=5101673➚.

OECD (2019): Framework for the Assessement of Creative Thinking in PISA 2021. Third draft.

Zehner, Fabian; Sälzer, Christine; Goldhammer, Frank (2016): Automatic Coding of Short Text Responses via Clustering in Educational Assessment. In: Educational and psychological measurement 76 (2), S. 280–303. DOI: 10.1177/0013164415590022.