Evaluation einer neuen Methode zur Wissensdiagnostik

Das Multiple-Choice-Verfahren (MC) ist seit Jahrzehnten die am weitesten verbreitete Methode der Wissensdiagnostik. Die psychometrischen Eigenschaften des Verfahrens genügen hohen Ansprüchen. Zu den Nachteilen des Verfahrens gehört allerdings, dass die Konstruktvalidität von Multiple-Choice-Testungen durch testformatspezifische Antwortstrategien reduziert werden kann. Ziel der Studie war, die psychometrischen Eigenschaften einer kürzlich von Foster und Miller (2009) vorgeschlagenen computergestützten Alternative zum traditionellen Multiple-Choice Format zu überprüfen. Das vorgeschlagene „Discrete Option Multiple Choice“-Testformat (kurz: DOMC) beruht auf einer sequentiellen anstelle der simultanen Präsentation der Antwortalternativen. Der Testnehmer wird dabei aufgefordert, jede der einzeln und randomisiert nacheinander präsentierten Antwortalternativen hinsichtlich ihrer Korrektheit zu überprüfen (Foster & Miller, 2009; Kingston, Tiemann, Miller & Foster, 2012).

Die psychometrischen Eigenschaften des neuen sequentiellen Verfahrens wurden bislang jedoch nicht untersucht. Das Ziel dieser Untersuchung war daher eine experimentell gestützte Antwort auf die Frage, ob das Multiple-Choice-Format durch eine sequentielle Präsentation der Antwortoptionen verbessert werden kann.

Jeweils randomisiert und between subjects nahmen Mitte Juni 2012 mehrere Tausend Probanden des SoSci Panels entweder in der MC- oder in der DOMC-Bedingung an einem Politikwissenstest teil. Es konnte gezeigt werden, dass die sequentielle Darbietung der Antwortoptionen und insbesondere die Reihenfolge, in der die richtige Lösung und ein hoch attraktiver Distraktor dargeboten werden, die Schwierigkeit der Items beeinflußt. Trotz ihrer höheren Schwierigkeit erwiesen sich DOMC-Items jedoch als hinreichend trennscharf. Das neue sequentielle Verfahren war vergleichbar valide wie das gut validierte Multiple-Choice-Verfahren.

Literatur

Foster, D. (2010). Advantages and Advice: Using DOMC. Exam Innovations, Inc. Online verfügbar.

Foster, D. & Miller, H. L. (2009). A new format for multiple-choice testing: discrete-option multiple- choice. Results from early studies. Psychology Science Quarterly, 51, 355-369. Online verfügbar.

Kingston, N. M., Tiemann, G. C., Miller, H. L., & Foster, D. (2012). An analysis of the discrete-option multiple-choice item type. Psychological Test and Assessment Modeling, 54, 3-19.

Steckbrief

Weitere Informationen

Arbeitsgruppe Diagnostik und Differentielle Psychologie

Kontakt

Dipl.-Psych. Sonja Willing
Institut für Experimentelle Psychologie
Heinrich-Heine-Universität Düsseldorf