Die Messung von Selbst- und Feedbackeffekten von politischen Äußerungen online

Eine Vignettenstudie zur Validierung von Single-Item-Messungen für Experience-Sampling-Designs

Das Internet bietet Nutzer*innen zahlreiche Möglichkeiten, sich politisch zu äußern. Sie können sowohl eigene Beiträge verfassen als auch auf Postings reagieren. Auf diese Äußerungen können andere Nutzer*innen wiederum Feedback geben. Sowohl das eigene Handeln (Selbsteffekte) als auch die Reaktionen anderer auf die Äußerungen (Feedback-Effekte) können einen Einfluss auf die Kognitionen, Emotionen und Handlungen von Nutzer*innen haben. Für die Untersuchung solcher Selbst- und Feedback-Effekte politischer Äußerungen bietet sich neben Experimenten v.a. die Mobile Experience Sampling Method (MESM) an. Mit dieser können Effekte im natürlichen Mediennutzungs-Kontext der Teilnehmenden in möglichst unmittelbarem Abstand zur Handlung über mehrere Nutzungsepisoden wiederholt erfasst werden. Hierdurch wird die Methode dem hoch situativen Charakter sowie der intra- und interindividuellen Variabilität der Effekte gerecht. Eine Herausforderung von MESM-Designs ist, dass die Fragebögen aufgrund der hohen Anzahl an Messwiederholungen möglichst kurz sein müssen. Anstelle von Langskalen werden daher meist Single-Item-Messungen verwendet. Für diese besteht aber der Einwand, ein einzelnes Item könne den komplexen Charakter der meisten Konstrukte nicht ausreichend abbilden. Um dieser Kritik zu begegnen, sollten Single-Item-Messungen stets einer theoretischen und empirischen Validierung unterzogen werden (Wolfers & Baumgartner, 2025; Eisele et al., 2025). Validierte Single-Item-Messungen fehlen jedoch bisher fast vollständig in der Kommunikationswissenschaft (für eine Ausnahme siehe Wolfers & Baumgartner, 2025).

Die vorliegende Studie prüft daher die empirische Eignung von Single-Item-Messungen für die Variablen 1) Einstellungsstärke (verschiedene Operationalisierungen), 2) Emotionen, 3) politisches Selbstkonzept (verschiedene Subkonstrukte) und 4) Elaboration über die Äußerung.

Methode

Basierend auf Wolfers & Baumgartner (2025) und Eisele et al. (2025): 

1. Auswahl einschlägiger Langskalen; Itemformulierungen nach Eisele et al. (2025) an ESM-Kontext angepasst.

2. Auswahl von Single-Items mit 1) bestmöglicher Passung zur Arbeitsdefinition des Konstruktes, 2) hoher Verständlichkeit (einfach, schnell zu beantworten), 3) situativer Sensitivität. Drei Forschende wählten unabhängig voneinander Items aus und diskutierten die Auswahl.

Empirische Prüfung:

1. CFA: hat das Single-Item ausreichende Ladung mit Langskala? 

2. Korrelationsanalysen: korreliert das Single-Item hinreichend mit verwandten Konstrukten?

3. Experimentell variierte Vignetten: Ist das Single-Item situativ sensitiv? Unsere Variationen beruhen auf der Annahme, dass (1) hohe Öffentlichkeit und Bekanntheit und (2) Kommentare folgenreicher und bedeutsamer sind, wodurch zentralen Konstrukte stärker ausgeprägt sein sollten. (3) Emotionen sollten sich zwischen negativem und positivem Feedback unterscheiden.

Ergebnisse

Die Ergebnisse der konfirmatorischen Faktoranalysen und Korrelationsanalysen zeigen, dass sich die ausgewählten Items der jeweiligen Konstrukte insgesamt gut als Single-Item-Messungen eignen. So besaßen alle Single-Items eine ausreichend hohe Faktorladung (> .7) mit der zugehörigen Langskala. Fast alle Single-Items korrelierten mindestens moderat und in vergleichbarer Weise zur Langskala mit den jeweils verwandten Konstrukten.

Im Hinblick auf die situative Sensitivität zeigte sich jedoch, dass viele der Single-Item-Messungen keine signifikanten Unterschiede zwischen den Vignetten-Bedingungen aufwiesen.

Literatur

Eisele, G., Hiekkaranta, A., Kunkels, Y. K., Rot, M. A. H., Van Ballegooijen, W., Bartels, S. L., Bastiaansen, J. A., Beymer, P. N., Bylsma, L. M., Carpenter, R. W., Ellison, W. D., Fisher, A. J., Forkmann, T., Frumkin, M. R., Fulford, D., Naragon-Gainey, K., Greene,T., Heininga, V. E., Jones, A., … Kirtley, O. J. (2025). ESM-Q: A consensus-based quality assessment tool for experience sampling method items. Behavior Research Methods, 57(4), 124. https://doi.org/10.3758/s13428-025-02626-1

Wolfers, L., & Baumgartner, S. (2025). Short But Still Valid: Validating Single-Item Measures for Key Communication Science Constructs for Experience Sampling Research. OSF. https://doi.org/10.31234/osf.io/zkwxa_v1

Steckbrief

Weitere Informationen

https://medienstruktur.ifp.uni-mainz.de/anna-schnauber-stockmann/

https://www.kom.ifp.uni-mainz.de/klara-langmann/

Projektwebseite:

https://medienstruktur.ifp.uni-mainz.de/dfg-projekt/

Kontakt

anna.schnauber-stockmann@uni-mainz.de

k.langmann@uni-mainz.de