Studie der BBC: KI-Ergebnisse sind zu 81% falsch

81 % der GenAI-Antworten sind fehlerhaft.

Und fast die Hälfte davon sind signifikante Fehler.

Die BBC hat gemeinsam mit 22 weiteren Medieninstitutionen getestet, wie gut ChatGPT, Copilot, Gemini und Perplexity Fragen zu News-Beiträgen beantworten können.

Das Ergebnis ist ernüchternd (Link zur Studie unten in der Diashow):

➡️ 81 % der 2’709 Antworten enthielten Fehler

➡️ 45 % der Antworten hatten signifikante Fehler

Natürlich muss man auch sagen:

Die Studie stammt nicht von einem unabhängigen Forschungsinstitut, sondern von Medienhäusern, die eigene Interessen haben.

Das wäre wie wenn Meta eine Studie rausgibt zur Gesundheit von Social Media.

Trotzdem decken sich die Ergebnisse in der Tendenz mit meiner persönlichen Erfahrung:

Wenn ich GenAI Studien zusammenfassen lasse, sind sie oft sprachlich brillant, aber in rund der Hälfte der Fälle inhaltlich fehlerhaft oder unpräzise.

Was heisst das für uns im Business, insbesondere in der Wissensarbeit?

1️⃣ Hybride Intelligenz statt blindes Vertrauen

GenAI wirkt erst dann richtig, wenn wir sie als Partner nutzen; nicht als Ersatz. Menschen müssen die GenAI Ergebnises überprüfen, interpretieren und weiterdenken.

2️⃣ Besseres Prompting führt zu weniger Fehler 

Klare Anweisungen im Prompt verbessern die Zuverlässigkeit: Bspw.: "Nutze nur die angegebenen Quellen“, „Wenn du nicht sicher bist, antworte mit "Ich weiss nicht"", „Zitiere nur Fakten, keine Interpretationen“

3️⃣ GenAI am richtigen Ort einsetzen

Nicht als klassische IT-Automation, sondern dort, wo Aufgaben bisher zu komplex waren: Kundensupport, Content-Creation, Ideation etc.

4️⃣ Langfristig denken

Trotz allem: Die Fehlerquote hat sich seit der letzten BBC-Studie fast halbiert.Wer seine Strategie nur daran ausrichtet, was die Tools heute können, verpasst das Potenzial von morgen. Das Horizon-Framework von McKinsey hilft, diese Entwicklung klug zu planen.