Methodische Herausforderungen bei der Schätzung von Trends und querschnittlichen Ländervergleichen in Schulleistungsstudien
Federführung: IPN
Kooperation mit: DIPF
Aktuelle Projektmitglieder: IPN | Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik (Prof. Dr. Oliver Lüdtke➚, Dr. Alexander Robitzsch➚)
Ein wichtiges Ziel von internationalen Schulleistungsstudien wie z. B. PISA ist der Vergleich der mittleren Kompetenz von Schüler*innen einer bestimmten Altersgruppe in verschiedenen Ländern. Diese Vergleiche werden für verschiedene Domänen (Mathematik, Leseverstehen oder Naturwissenschaften) vorgenommen und können sich (1) auf einen bestimmten Zeitpunkt oder (2) auf Trends über die Zeit beziehen. Beide Vergleiche sind mit der Annahme verbunden, dass mit Hilfe sogenannter Linkitems (Testaufgaben der verschiedenen Domänen), die in verschiedenen Teilnehmerstaaten und zu verschiedenen Erhebungen eingesetzt werden, eine gemeinsame Metrik über die Teilnehmerstaaten sowie über die Zeitpunkte etabliert werden kann. Bisher ist allerdings noch wenig untersucht, welche Quellen der Unsicherheit (z. B. Auswahl der Linkitems, Ziehung der Schüler*innen) bei den unterschiedlichen Vergleichen zu berücksichtigen sind und welche statistischen Methoden sich am besten zur Quantifizierung dieser Unsicherheit eignen.
Im vorliegenden Projekt soll eine systematische Evaluation verschiedener Linking-Methoden vorgenommen werden. Darüber hinaus werden statistische Verfahren entwickelt, mit denen die Unsicherheit von querschnittlichen Ländervergleichen und längsschnittlichen Trendschätzungen adäquat bestimmt werden können. Dazu findet auch eine enge Zusammenarbeit mit dem Projekt zu den Moduseffekten in PISA 2018 statt, in dem die entwickelten Methoden angewendet werden sollen.
Ein zentrales Ziel des Projekts ist ein besseres Verständnis der verschiedenen Faktoren, von denen die Unsicherheit von Ländervergleichen und Trendschätzungen abhängt. Dies wird dazu verwendet werden, die statistischen Verfahren zur Schätzung von Trends zu verbessern sowie Empfehlungen für optimierte Testdesigns zu geben. Zusätzlich könnten die entwickelten Verfahren auch für eine Optimierung des nationalen Monitorings von Bundesländern hinsichtlich der Erreichung der Bildungsstandards➚ eingesetzt werden.
