Prozesse der Aufgabenbearbeitung und individuelle Prozessmerkmale
Federführung: DIPF
Internationale Bildungsvergleichsstudien wie PISA werden zunehmend vom papierbasierten auf das computerbasierte Testen umgestellt. Dadurch entstehen neue Möglichkeiten Aufgaben in Tests zu gestalten. So kann am Computer beispielsweise ein naturwissenschaftliches Experiment simuliert werden. Darüber hinaus können Aufgaben und Fragen besser an die Schüler*innen angepasst werden.
Traditionell wurde vor allem betrachtet, ob eine Aufgabe gelöst wurde oder nicht. Die Computertestung ermöglicht nun auch, das Bearbeitungsverhalten zu erheben. So wird beispielsweise ersichtlich, wie viel Zeit die getestete Person für eine Aufgabe benötigt oder wohin sie mit der Maus geklickt hat. Diese sogenannten Prozessdaten erlauben zusätzliche Rückschlüsse auf den Bearbeitungsprozess und zeigen beispielsweise auf, wie der Lösungsweg aussah oder an welcher Stelle die Person scheiterte.
Die Analysen dieser Prozessdaten liefern somit für die Bildungspraxis wichtige Impulse, um Lernprozesse zu verbessern. Um die daraus entstehenden folgenden Forschungsfragen zu beantworten wurden vor allem Daten aus PISA und PIAAC➚ herangezogen.
1. Wie lassen sich Antwortprozesse in Form von validen Prozessindikatoren abbilden?
Logdaten können anhand eines entsprechenden Modells umkodiert werden und zu Prozessindikatoren zusammengefasst werden. Dies erleichtert nicht nur den Umgang mit den Prozessdaten, sondern fördert auch ihre theoriegeleitete Auswertung. Im Rahmen des Projekts wurde unter anderem ein Test zur Messung des multiplen Dokumentenverständnis entwickelt. Die Ergebnisse, die bei der Durchführung bzw. der Demonstration des Tests erhalten wurden, deuten darauf hin, dass Strategien im Umgang mit multiplen Dokumenten aktiv erlernt werden müssen.
2. Wie lassen sich Antwortprozesse bei der Kompetenzmodellierung berücksichtigen?
Diese Frage wurde im Projekt aus verschiedenen Blickwinkeln betrachtet und in einer Reihe von verschiedenen Studien untersucht. So zeigt sich in einer Studie, dass sich die Testmotivation für die Kompetenzdomänen in PIAAC beschreiben ließ und dass sie für Personen mit einem niedrigen Bildungsabschluss, geringen kognitiven Fähigkeiten und für Nicht-Muttersprachler geringer ausfiel. Eine andere Studie stellt einen Ansatz vor, bei deim anhand von Antwortzeiten entschieden werden kann, ob eine Person eine Testaufgabe zufällig ausgelassen oder aus mangelnder Fähigkeit überprungen hat. Dazu wird die Bearbeitungzeit betrachtet. Schnelle Bearbeitungszeiten (wie Durchklicken) werden als fehlend gewertet, ausgelassene Antworten mit langen Bearbeitungszeiten als falsch, da die Testperson sich offenbar eine Zeit lang mit der Aufgabe beschäftigt, sich dann aber gegen eine Beantwortung entscheidet.
Projektbezogene Publikationen
Frey, A., Spoden, C., Goldhammer*, F. & Wenzel, S. F. C. (2018). Response time-based treatment of omitted responses in computer-based testing. Behaviormetrika, 45(2), 505–526. https://doi.org/10.1007/s41237-018-0073-9➚
Goldhammer*, F., Hahnel*, C. & Kröhne, U. (in Druck). Analyzing log file data from PIAAC. In D. B. Maehler & B. Rammstedt (Hg.), Large-Scale Cognitive Assessment: Analysing PIAAC Data. Springer International Publishing.
Goldhammer*, F., Kröhne, U., Hahnel*, C. & De Boeck, P. (eingereicht). Controlling speed in component skills of reading improves the explanation of higher-order reading skills. Journal of Educational Psychology.
Goldhammer*, F., Martens, T. & Lüdtke*, O. (2017). Relating product data to process data from computer-based competency assessment. In D. Leutner, J. Fleischer, J. Grünkorn & E. Klieme (Hg.), Competence Assessment in Education: Research, Models and Instruments (S. 407–425). Springer International Publishing.
Goldhammer*, F. & Zehner, F. (2017). What to Make Of and How to Interpret Process Data. Measurement: Interdisciplinary Research and Perspectives, 15(3-4), 128–132. https://doi.org/10.1080/15366367.2017.1411651➚
Hahnel*, C. (2017). Demands and Cognitive Processes in Reading Digital Text [Dissertation]. Goethe-Universität, Frankfurt am Main.
Hahnel*, C., Kröhne, U., Goldhammer*, F., Schoor, C., Mahlow, N. & Artelt, C. (2019). Validating process variables of sourcing in an assessment of multiple document comprehension. The British journal of educational psychology, 89(3), 524–537. https://doi.org/10.1111/bjep.12278➚
Hahnel*, C., Schoor, C., Kröhne, U., Goldhammer*, F., Mahlow, N. & Artelt, C. (2019). The role of cognitive load in university students' comprehension of multiple documents. Zeitschrift für Pädagogische Psychologie, 33(2), 105–118. https://doi.org/10.1024/1010-0652/a000238➚
Kröhne, U. & Goldhammer*, F. (2018). How to conceptualize, represent, and analyze log data from technology-based assessments? A generic framework and an application to questionnaire items. Behaviormetrika, 45(2), 527–563. https://doi.org/10.1007/s41237-018-0063-y➚
Schoor, C., Hahnel*, C., Mahlow, N., Klagges, J., Kröhne, U., Goldhammer*, F. & Artelt, C. (2020). Multiple document comprehension of university students - Test development and relations to person and process characteristics. In O. Zlatkin-Troitschanskaia & et al. (Hg.), Student learning in German higher education - Innovative measurement approaches and research results (S. 221–240). Springer.
