Methodenstudie zum Vergleich von Panel-Qualität

Der überwiegende Teil der Rezeptions- und Wirkungsforschung beruht auf Selbstauskünften, die im Rahmen von Befragungen erfasst werden. Mit der zunehmenden Internet-Durchdringung der Gesellschaft haben sich die Möglichkeiten der Rekrutierung deutlich erweitert. Mitunter ist es durch die wachsende Zahl an Online-Paneln in den vergangenen Jahren deutlich einfacher und günstiger geworden, Teilnehmende für Befragungen zu gewinnen. Gleichwohl stellen sich mit der Rekrutierung über Online-Access-Panels Fragen der Datenqualität. Dies gilt insbesondere für Panels, deren Mitglieder durch finanzielle Incentivierung zur Teilnahme an Umfragen motiviert werden (zusammenfassend: Callegaro et al. 2014; Taddicken, 2013).

Alternative Rekrutierungsmethoden zielen auf die direkte Ansprache von Nutzer*innen ab. Beispielsweise lassen sich über bezahlte Anzeigen in sozialen Medien potenzielle Teilnehmende erreichen. Die Targeting-Möglichkeiten der Plattformen können überdies genutzt werden, Teilnehmende nach spezifischen Personenmerkmalen zu rekrutieren (Boas et al., 2020). Alternativ können Teilnehmende auch durch Postwurfsendungen rekrutiert werden. Dieses Verfahren erlaubt eine Auswahl von Haushalten nach Zustellgebieten oder Postleitzahlen und eignet sich daher insbesondere für regional begrenzte Befragungen (Bornschein & Pohl, 2014; Bachl et al., 2013).

In unserer Befragung vergleichen wir die verschiedenen Rekrutierungswege (kommerzielles Online-Access-Panel, Rekrutierung via Meta, Postwurfsendung). Neben substanzwissenschaftlichen Erkenntnissen zum Zusammenhang zwischen Nutzung von Lokalmedien und Community-Attachement sowie politischer Selbstwirksamkeit wurden mit der Befragung die Stichproben hinsichtlich ihrer soziodemographischen Zusammensetzung sowie in der Qualität der erhobenen Daten untersucht.

Methode

Die Befragung wurde in den Postleitgebieten 55 (in Rheinland-Pfalz [RLP], Umgebung Mainz) sowie 99 (in Thüringen [TH], Umgebung Erfurt) durchgeführt. Dabei dienen Umweltthemen mit Regionalbezug (RLP: Hoch- und Niedrigwasser im Rhein; TH: Trockenheit im Thüringer Wald) als inhaltlicher Rahmen. Über den kommerziellen Panelanbieter Bilendi [Respondi] wurden alle in diesen Bereichen verfügbaren Panel-Teilnehmenden rekrutiert. In jeweils 10 Postleitzahlgebieten in Thüringen und Rheinland-Pfalz (stratifiziert nach Besiedlungsdichte) wurden durch Postwurfsendungen insgesamt rund 60.000 Haushalte zur Teilnahme aufgefordert. Zudem wurden äquivalent zu den beiden Befragungsregionen mit Hilfe der Targetingfunktion von Meta Anzeigen in Facebook und Instagram geschaltet und alle Personen in den PLZ Gebieten, die im Sosci Panel registriert sind, adressiert.

Ergebnisse

Mit Bezug auf die soziodemographische Zusammensetzung zeigt sich, dass die Rekrutierung über Bilendi mit Bezug auf das Alter am ehesten dem tatsächlichen Durchschnittsalter in beiden Regionen (TH: 47,5; RLP: 45 Jahre) entspricht, während insgesamt jüngere Personen unterrepräsentiert sind. Im Hinblick auf die Sorgfalt in der Bearbeitung der Fragen wird deutlich, dass die meisten Straighliner*innen auf das Bilendi-Panel entfallen, das auch die geringste Bearbeitungszeit aufweist. Auch der Anteil korrekt beantworteter Fragen aus dem Test-Artikel fällt beim Bilendi-Panel geringer aus. Die Ergebnisse deuten darauf hin, dass sich die Zusammenhänge zwischen verschiedenen Variablen bei den Teilnehmenden des Bilendi-Panels sowie den Teilnehmenden des Sosci-Panels unterscheiden.

Literatur

Bachl, M., Brettschneider, F., & Ottler, S. (Eds.). (2013). Das TV-Duell in Baden-Württemberg 2011: Inhalte, Wahrnehmungen und Wirkungen. Springer Fachmedien Wiesbaden. https://doi.org/10.1007/978-3-658-00792-8

Boas, T. C., Christenson, D. P., & Glick, D. M. (2020). Recruiting large online samples in the United States and India: Facebook, Mechanical Turk, and Qualtrics. Political Science Research and Methods, 8(2), 232–250. https://doi.org/10.1017/psrm.2018.28

Bornschein, A., & Pohl, R. (2014). Hochwasserbewusstsein 10 Jahre nach dem „Jahrhundertereignis“ im Osterzgebirge und an der Elbe. In S. Heimerl & H. Meyer (Eds.), Vorsorgender und nachsorgender Hochwasserschutz: Ausgewählte Beiträge aus der Fachzeitschrift WasserWirtschaft (pp. 19–29). Springer Fachmedien. https://doi.org/10.1007/978-3-658-03740-6_3

Callegaro, M., Baker, R., Bethlehem, J., Göritz, A. S., Krosnick, J. A., & Lavrakas, P. J. (2014). Online panel research. In Online Panel Research. John Wiley & Sons, Ltd. https://doi.org/10.1002/9781118763520.ch1

Taddicken, M. (2013). Online-Befragung. In W. Möhring & D. Schlütz (Eds.), Handbuch standardisierte Erhebungsverfahren in der Kommunikationswissenschaft (pp. 201–217). Springer Fachmedien. https://doi.org/10.1007/978-3-531-18776-1_11

Steckbrief

Kontakt

pjost@uni-mainz.de