ReCo: Textantworten aus Large-Scale Assessments automatisch verarbeiten
Federführung: DIPF
Kooperation mit: TUM
Aktuelle Projektmitglieder: Dr. Fabian Zehner➚, Nico Andersen➚, Prof. Dr. Frank Goldhammer➚
Assoziierte Projektmitglieder: TUM (Julia Mang als Ansprechpartnerin für die PISA‑Daten und ‑Strukturen)
Im Projekt Automatic Response Coding, kurz ReCo, dreht sich alles um Textantworten in Tests. Antwortet eine Schülerin etwa im PISA-Test, „Dem Autor geht es darum, dass die Bäume erhalten bleiben.“, so kann die Software ReCo unter anderem automatisch einschätzen, ob diese Antwort richtig ist. Aber auch andere Infos, etwa ob die Schülerin damit Wissen über den Text hinausgehend hinzufügt, können automatisch extrahiert werden.
Die Software ReCo wurde anfänglich an der Technischen Universität München und im Zentrum für Internationale Bildungsvergleichsstudien (ZIB) e.V. entwickelt. In Kooperation mit der TU München und dem ZIB wird ReCo nun am DIPF im TBA-Zentrum weiterentwickelt. Das Projekt fasst die allgemeine ReCo-Entwicklung sowie Forschungsstudien rund um den Einsatz der Software zusammen. Dabei zeichnet die TBA-Gruppe einerseits für die konzeptuelle und technische Fortentwicklung verantwortlich, andererseits agiert sie als Projektleitung etwa im Projekt ReCo-Multi und unterstützt externe Forschungsgruppen in der Anwendung der Software.
Weitere Informationen zu diesem Projekt finden Sie hier
Ausgewählte Publikationen zum Projekt
Zehner, F., Kroehne, U., Hahnel, C. & Goldhammer, F. (2020). PISA reading: Mode effects unveiled in short text responses. Psychological Test and Assessment Modeling, 62(1), 85–105.
Zehner, F., Goldhammer, F., Lubaway, E. & Sälzer, C. (2019). Unattended consequences: How text responses alter alongside PISA's mode change from 2012 to 2015. Education Inquiry, 10(1), 34–55. doi: 10.1080/20004508.2018.1518080
Zehner, F., Goldhammer, F. & Sälzer, C. (2018). Automatically analyzing text responses for exploring gender-specific cognitions in PISA reading. Large-scale Assessments in Education, 6:7. doi: 10.1186/s40536-018-0060-3
Zehner, F. (2016). Automatic processing of text responses in large-scale assessments (Dissertation). Technische Universität München, München. doi:10.13140/RG.2.2.26846.84800
Zehner, F., Sälzer, C. & Goldhammer, F. (2016). Automatic coding of short text responses via clustering in educational assessment. Educational and Psychological Measurement, 76(2), 280–303. doi:10.1177/0013164415590022
Zehner, F., Goldhammer, F. & Sälzer, C. (2015). Using and improving coding guides for and by automatic coding of PISA short text responses. In Proceedings of the IEEE ICDM Workshop on Data Mining for Educational Assessment and Feedback (ASSESS 2015), Atlantic City. doi: 10.1109/icdmw.2015.189