Validierung einer automatisierten inhaltsanalytischen Methode (Word-Embedding Bias)
In dieser Studie soll ein methodischer Ansatz validiert werden: die Messung von Word-Embedding Biases. Bei der von Caliskan et al. (2017) vorgeschlagenen und von uns adaptierten Methode geht es darum implizite Stigmatisierungen gegenüber Gruppen in der Berichterstattung mit Hilfe einer automatisierten inhaltsanalytischen Methode zu identifizieren. Unser Paper basierend auf dieser Methode wurde dieses Jahr publiziert (Müller et al., 2023). Eine Validierung der inhaltsanalytischen Messung ist schwierig, da sich impliziter Bias automatisiert nur für einen gesamten Textkorpus ermitteln lässt, nicht für einzelne Texte. Da unser Corpus aus 697,913 Nachrichtenartikeln besteht ist eine Validierung des gesamten Corpus durch menschliche Coder nicht praktikabel. Daher haben wir für die Validierung verkleinerte Corpora zusammengestellt. Da die Texte den Bias zudem implizit enthalten, ist eine klassische manuelle Codierung nicht der richtige Validierungsansatz. Stattdessen benötigen wir die subjektiven Einschätzungen einer größeren Stichprobe menschlicher Leser:innen.
Methode
Daher wollen wir eine experimentelle Befragung (n = 1200) mit SoSciSurvey Teilnehmenden durchführen. Den Teilnehmer:innen werden experimentell variierte Pakete einzelner Sätze aus der Berichterstattung gezeigt, denen jeweils ein anderer impliziter Bias (Furcht vs. Bewunderung vs. kein Bias) gegenüber der Gruppe der Italiener:innen zu Grunde liegt. Zudem verwenden wir zur Erhöhung der Validierungsqualität pro Bias-Gruppe drei unterschiedliche Satzpakete (3x3-Design). Anschließend stellen wir den Teilnehmenden vier Fragen zu ihrem Gesamteindruck bezogen auf negative und positive Tendenzen gegenüber der Gruppe, zu gruppenbezogenen Emotionen sowie Stereotypen. Insgesamt beträgt die Bearbeitungsdauer ca. 6-10 Minuten.
Ergebnisse
Die Ergebnisse dieser Studie entsprechen den Ergebnissen der automatisierten, computergestützen inhaltsanalytischen Methode. Das bedeutet, dass menschliche Leser zum gleichen Ergebnis kommen wie die Methode des Word-Embedding Bias. Daher kann diese Methode nun für die Analyse von Texten verwendet werden.
Literatur
Caliskan, A., Bryson, J. J., & Narayanan, A. (2017). Semantics derived automatically from language corpora contain human-like biases. Science, 356(6334), 183–186. doi: 10.1126/science.aal4230
Müller, P., Chan, C.-H., Ludwig, K., Freudenthaler, R., & Wessler, H. (2023). Differential racism in the news: Using semi-supervised machine learning to distinguish explicit and implicit stigmatization of ethnic and religious groups in journalistic discourse. Political Communication, 40(4), 396–414. doi: 10.1080/10584609.2023.2193146
Steckbrief
| Titel (deutsch): | Validierung einer automatisierten inhaltsanalytischen Methode (Word-Embedding Bias) |
| Titel (englisch): | Validation of an automatic content analytical method (word embedding bias) |
| Erhebungszeitraum: | 07/2023 |
| Stichprobe (effektiv): | 1.937 |
| Stand der Informationen: | 26.11.2023 |
Weitere Informationen
https://www.mzes.uni-mannheim.de/d7/de/profiles/philipp-mueller