Studienabbrüche in Online Befragungen
Ein Balanceakt forschungsethischer Güte und ausreichender Datenqualität
Studienabbrüche sind in vieler Hinsicht problematisch in der empirischen Forschung. Zum einen können sie zu Ungenauigkeiten in den Studienergebnissen führen (Bošnjak et al., 2005, S. 490), zum anderen mindern Abbrüche die Repräsentativität einer Stichprobe (Schlütz & Möhring, 2018, S. 40; Taddicken, 2013, S. 212). Für die Online-Befragung ist dieser Umstand besonders schwerwiegend, aufgrund ihrer ohnehin schon geringen Rücklaufquoten (Daikeler et al., 2019, S. 530). Trotzdem zählt sie zu einer der wichtigsten Methoden der Kommunikationswissenschaft (Taddicken, 2013, S. 202). Die Konsequenz dieser Erkenntnis bildet gleichzeitig eine klare Zielsetzung: "reduce this dropout" (Nestler et al., 2015, S. 37). Mit der Implementierung einer Schaltfläche zum Abbruch werden gleich mehrere forschungsethische Barrieren eines Abbruchs der Online-Befragung adressiert, dessen potenzielle methodische Auswirkungen es zu untersuchen gilt. Denn obwohl bereits vermehrt Autor*innen auf die Verwendung eines solchen Mechanismus hingewiesen haben, existieren kaum belegbare Forschungsergebnisse zu dessen Nutzen. Gründe dafür sind mitunter die Folgen, die eine erhöhte Abbruchquote für die Stichprobe und die Datenqualität mit sich zieht. Gute Forschungspraxis darf sich jedoch nicht nur an ihren methodischen Maßstäben messen lassen, sondern muss ebenso ethischen Kriterien gerecht werden (Schlütz & Möhring, 2018, S. 33). Die vorliegende Arbeit widmet sich eben dieser Verhältnisfrage und untersucht die Chancen und Risiken einer Schaltfläche zum Abbruch eines Online Fragebogens. Darüber hinaus werden Einflüsse der Auftraggebenden einer Studie, ebenso wie das Konzept des sozial erwünschten Antwortverhaltens im Sinne der Antwortverzerrung zur Vermeidung eines Abbruchs aufgegriffen und hinsichtlich ihrer Relevanz für Studienabbrüche diskutiert und analysiert.
Methode
Bei der vorliegenden Studie handelt es sich um ein 2x2 between-subject-design. Die Befragten verfügen nicht über die Kenntnis, durch eine zufällige Verteilung entweder einen universitären oder einen fiktiven, kommerziellen Auftraggebenden präsentiert zu bekommen. In derselben zufälligen Verteilung findet eine Auswahl dahingehend statt, ob Teilnehmende die Schaltfläche mit der Möglichkeit des vorzeitigen Abbruchs nutzen können. Um unnatürliche Reaktionen zu vermeiden, werden Teilnehmende hinsichtlich des Befragungsthemas getäuscht. Es wird vorgegeben, es handele sich um eine Befragung zur SARS-CoV-2 Pandemie und derer Auswirkung auf die eigene Gesundheit. 944 Teilnehmende folgten der Einladung und haben die Umfrage gestartet. Nach der Bereinigung der Daten haben 892 Personen der Teilnahme zugestimmt, 846 von ihnen beendeten die Befragung vollständig. In Relation zu den verschickten Teilnahmeeinladungen entspricht dies einer Beendigungsquote von 34%. 5,5% der Proband*innen, die einer Teilnahme zugestimmt haben, entschieden sich im Verlauf des Fragebogens für einen Abbruch (n=49).
Ergebnisse
Die wenigen Fälle, welche die Befragung nicht vollständig beendet haben, verteilen sich gleichmäßig auf die vier Experimentalgruppen. Durch das Ausbleiben der Studienabbrüche konnten keine signifikanten Effekte der unabhängigen Variablen festgestellt werden. Auffällig in den Bedingungen mit Abbruch-Schaltfläche ist jedoch, dass die Abbrüche in nahezu jedem Fall durch das Bedienen dieser durchgeführt wurden. Diese Beobachtung ist aufgrund der geringen Fallzahl zwar nicht aussagekräftig, dennoch deutet sie darauf hin, dass die Schaltfläche wahrgenommen und auch genutzt wird. Unterschiede in den Effekten der jeweiligen Möglichkeit zum Abbruch auf die ehrliche Beantwortung der Fragen blieben ebenfalls aus.
Ergänzend zur Überprüfung der theoriegeleiteten Annahmen wird eine zusätzliche Analyse der vorliegenden Daten durchgeführt, um mögliche Erklärungsansätze für das Ausbleiben der Abbrüche und damit der Effekte zu leisten. In Hinblick auf die Manipulation der Auftraggebenden ist anzumerken, dass signifikante Unterschiede in ihrer Bewertung hinsichtlich des Verfolgens schlechter Absichten und der Einschätzung der Vertrauenswürdigkeit auftreten. Dieser Umstand hat sich letztlich nicht auf die Beendigungsquote ausgewirkt, was mit einem grundlegenden Vertrauen in das SoSci Panel zu tun haben könnte. Ein weiterer Aspekt ist das Involvement in Bezug auf das Befragungsthema (M=4.23; SD=.76). Die SARS-CoV-2 Pandemie wird mitunter als emotionales und relevantes Thema wahrgenommen, was das Ausbleiben der Abbrüche zur Folge haben kann. Zuletzt ist auf Basis der Daten zu berichten, dass der größte Teil der Proband*innen, die der Einladung zur Befragung folgten, auf der Begrüßungsseite des Projekts ausstiegen. Diese wurden in der vorliegenden Studie nicht als Abbrüche definiert, da das Einverständnis zur Teilnahme von jenen Personen fehlt. Die Beobachtung lässt zumindest vermuten, dass der Entscheidungsprozess für oder gegen eine Teilnahme zum Großteil vor und bei dem ersten Forschungskontakt stattfindet. Eine andauernde Reflexion der Entscheidung für eine Teilnahme im Verlauf einer Befragung findet nicht in dem Maß statt, wie ursprünglich angenommen. Vielmehr deuten die Studienergebnisse darauf hin, dass die Entscheidung für eine Teilnahme bewusst im Vorfeld abgewogen und auch getroffen wird. Damit ist sie weniger nachgiebig gegenüber Faktoren, die einen Abbruch begünstigen können.
Literatur
Bošnjak, M., Tuten, T. L. & Wittmann, W. W. (2005). Unit (non)response in web-based access panel surveys: An extended planned-behavior approach. Psychology and Marketing, 22(6), 489-505. https://doi.org/10.1002/mar.20070
Daikeler, J., Bošnjak, M. & Lozar Manfreda, K. (2019). Web Versus Other Survey Modes: An Updated and Extended Meta-Analysis Comparing Response Rates. Journal of Survey Statistics and Methodology, 8(3), 513-539. https://doi.org/10.1093/jssam/smz008
Nestler, S., Thielsch, M., Vasilev, E. & Back, M. D. (2015). Will They Stay or Will They Go? Personality Predictors of Dropout in an Online Study. International Journal of Internet Science, 10(1), 37–48.
Schlütz, D. & Möhring, W. (2018). Between the devil and the deep blue sea: Negotiating ethics and method in communication research practice. Studies in Communication | Media, 7(1), 31–58. https://doi.org/10.5771/2192-4007-2018-1-31
Taddicken, M. (2013). Online-Befragung. In W. Möhring & D. Schlütz (Hg.), Handbuch standardisierte Erhebungsverfahren in der Kommunikationswissenschaft (S. 201–217). Springer Fachmedien Wiesbaden. https://doi.org/10.1007/978-3-531-18776-1_11
Steckbrief
| Titel (deutsch): | Studienabbrüche in Online Befragungen: Ein Balanceakt forschungsethischer Güte und ausreichender Datenqualität |
| Titel (englisch): | Dropouts in online surveys: A balancing act of increased research ethics and sufficient data quality |
| Erhebungszeitraum: | 12/2020–01/2021 |
| Stichprobe (effektiv): | 892 |
| Stand der Informationen: | 12.04.2021 |
Weitere Informationen
https://www.ijk.hmtm-hannover.de/de/start/