Fehlerhafte Informationen bei LLMs

Die wahrgenommene Glaubwürdigkeit von ChatGPT im Kontext von Misinformation

In den letzten Jahren hat sich der Bereich der Künstlichen Intelligenz rasant entwickelt. Besonders große Aufmerksamkeit erhielt dabei ChatGPT – ein Programm, das Antworten formulieren, Bilder generieren und bei zahlreichen Aufgaben unterstützen kann. Während es für viele Menschen fester Bestandteil des Alltags geworden ist, wächst auch das wissenschaftliche Interesse an der Plattform.

Zwar ist bekannt, dass ChatGPT gelegentlich ungenaue oder fehlerhafte Informationen liefert – doch bislang ist wenig darüber bekannt, wie Nutzer*innen mit solchen Informationen umgehen. Erkennen sie Fehler? Hinterfragen sie die Inhalte? Oder wird ChatGPT im Vergleich zu etablierten Medien möglicherweise mehr Vertrauen entgegengebracht?

Um diesen Fragen nachzugehen, untersucht die vorliegende Studie, wie glaubwürdig Informationen eingeschätzt werden, die von ChatGPT stammen. Dabei wird der Unterschied zwischen korrekten und fehlerhaften Aussagen genauer betrachtet. Zusätzlich wird verglichen, wie sich die wahrgenommene Glaubwürdigkeit von ChatGPT im Vergleich zu einer etablierten Nachrichtenquelle – der Online-Ausgabe der Tagesschau – sowie einem neutralen, anonymen Text (ohne erkennbare Quelle) verhält.

Ziel der Untersuchung ist es, herauszufinden, ob sich die Einschätzung der Glaubwürdigkeit je nach Quelle unterscheidet und ob Nutzer*innen zwischen korrekten und fehlerhaften Informationen unterschiedlich stark differenzieren – abhängig davon, woher diese stammen. Die Ergebnisse sollen helfen, besser zu verstehen, wie Menschen mit KI-generierten Informationen umgehen.

Methode

Die Teilnehmenden der Studie erhalten Informationen aus einer der drei Quellen (ChatGPT, Tagesschau-Artikel, Text ohne erkennbare Quelle). Diese Informationen sind entweder korrekt oder fehlerhaft. Dabei werden die Informationen je nach Quelle als kurzes Video oder Text gezeigt. Anschließend geben die Teilnehmenden an, wie glaubwürdig sie den zuvor gezeigten Inhalt einschätzen. Dafür müssen sie fünf Fragen beantworten. Danach wird nach dem Alter, Geschlecht und höchstem Berufsabschluss von den Teilnehmenden gefragt. Außerdem werden sie gefragt, wie häufig sie ChatGPT nutzen. Es soll geschaut werden, ob diese Nutzungshäufigkeit einen Einfluss auf die wahrgenommene Glaubwürdigkeit einer Information hat.

Ergebnisse

Diese Studie untersuchte, für wie glaubwürdig Informationen gehalten werden, abhängig davon, von welcher Quelle die Informationen stammen und ob diese Informationen korrekt oder fehlerhaft sind. Als Quelle der Information wurde ChatGPT, ein Online-Nachrichtenartikel oder ein Text ohne Quelle angegeben.

Wenn man die wahrgenommene Glaubwürdigkeit über alle Informationen hinweg, also korrekte und fehlerhafte Informationen, betrachtet, zeigen sich folgende Ergebnisse: Informationen von ChatGPT werden als weniger glaubwürdig wahrgenommen als Informationen vom Online-Nachrichtenartikel und ähnlich glaubwürdig wie Informationen von einem Text ohne Quelle.

Bei der getrennten Betrachtung von korrekten und fehlerhaften Informationen findet sich in der Studie, dass die korrekten Informationen als deutlich glaubwürdiger wahrgenommen werden als die fehlerhaften, wenn sie von dem Online-Nachrichtenartikel oder dem Text ohne Quelle gegeben werden. Ein anderes Ergebnismuster zeigt sich, wenn die Informationen von ChatGPT gegeben wurden: hier gibt es keinen bedeutenden Unterschied in der wahrgenommenen Glaubwürdigkeit von korrekten und fehlerhaften Informationen. Es kann somit angenommen werden, dass die Quelle, die eine Information präsentiert, einen Unterschied in der Einschätzung der wahrgenommenen Glaubwürdigkeit macht. Besonders sticht dabei heraus, dass korrekte und fehlerhafte Informationen von der Quelle ChatGPT ähnlich glaubwürdig sind. Bei den beiden anderen Quellen, dem Online-Nachrichtenartikel und dem Text ohne Quelle, wurden die exakt gleichen korrekten und fehlerhaften Informationen gegeben, jedoch gibt es hier Unterschiede in der wahrgenommenen Glaubwürdigkeit von korrekten und fehlerhaften Informationen.

Damit zeigt sich: bei der Quelle ChatGPT scheint sich die Informations- und Glaubwürdigkeitswahrnehmung von den anderen Quellen zu unterscheiden. Die mangelnde Unterscheidungsfähigkeit korrekter und fehlerhafter Informationen ist insbesondere vor dem Hintergrund zunehmender Nutzung von ChatGPT und weiteren LLMs kritisch zu betrachten und es bedarf weiterer Forschung, um mögliche Erklärungen für die in dieser Studie gefundenen Ergebnisse zu finden.

Steckbrief

Kontakt

Helena Heuermann