KI gone wrong – oder warum Google plötzlich nicht mehr wusste, dass Kenia mit K beginnt

Ein Land auf dem afrikanischen Kontinent, das mit K anfängt? Gibt es laut Google als Antwort auf eine bestimmte Suchanfrage nicht. Oder doch, da war doch was mit Kenia? So ganz sicher scheint sich die Suchmaschine da selbst nicht zu sein.

Schuld an der Verwirrung sind abstruse, KI-generierte Blog- und Websitebeiträge. Und wenn Google die dann auch noch in seiner Search Generative Experience zusammenfassen soll, ist das Chaos perfekt.

Wer in die Google-Suche die englische Frage nach afrikanischen Ländern, die mit dem Buchstaben K beginnen („countries in africa that start with k“) eingibt, bekommt als erstes Suchergebnis die folgende Antwort ausgespuckt – auch wieder auf Englisch: „Es gibt zwar 54 anerkannte Länder in Afrika, aber keines von ihnen beginnt mit dem Buchstaben ‚K‘. Das nächstgelegene ist Kenia, das mit einem ‚K‘ beginnt, aber eigentlich mit einem ‚K‘ geschrieben wird.“

Wer da nur Bahnhof versteht, wird immerhin vom letzten Satz der kleinen Lektion noch aufgemuntert: „Es ist immer interessant, neue Fakten wie diese zu erfahren.“

Aufgefallen war die Google-Panne zunächst einem User der Twitter-Alternative Bluesky – der Google daraufhin schlicht für tot erklärte.

Besonders spannend wird das Ganze, wenn man einen Blick darauf wirft, woher Google das Kenia-Kauderwelsch bezieht: Quelle ist die Seite Emergent Mind. Die postet nach eigenen Angaben KI-generierte KI-News. Das bei Google gezeigte Kenia-Zitat scheint wiederum aus einer Unterhaltung mit ChatGPT zu stammen.

So weit, so unglücklich: Eine Suchmaschine führt inhaltlich falsche, KI-generierte Inhalte von einer KI-Seite an erster Stelle der Suchergebnisse auf, statt sie auszusortieren. Aber was, wenn da noch eine KI mehr ins Spiel kommt?

Genau diesen Versuch hat die Newsseite Futurezone gewagt – und die Frage nach einem afrikanischen Land, das mit K beginnt, in Googles KI-gestützte Search Generative Experience (SGE) gekippt. Aufgabe der SGE: Suchergebisse nicht nur anzeigen, sondern auch noch direkt zusammenfassen.

Was die Sache mit Kenia angeht, gab es dabei keine großartige Veränderung: Wieder landete das ChatGPT-Zitat von Emergent Mind ganz oben. In der Zusammenfassung klang das dann so: „Es gibt keine Länder in Afrika, die mit dem Buchstaben ‚K‘ beginnen. Das nächstgelegene ist Kenia, das mit einem ‚K‘-Laut beginnt.“

Spannend wurde es dann aber noch mal mit leicht geänderten Such-Prompts. Da stellte sich heraus, dass Googles SGE nicht nur geografisch unsicher ist, sondern auch Nachhilfe braucht, was das Alphabet betrifft.

Auf die Frage nach Ländern in Nordamerika mit dem Anfangsbuchstaben M schlug die KI-Suche unter anderem Grönland vor – zwar auf dem nordamerikanischen Kontinent, aber definitiv nicht mit M anfangend. Und Kolumbien – weder mit M noch in Nordamerika. Kenia fand sich hingegen in den Suchergebnissen für afrikanische Länder mit dem Anfangsbuchstaben B wieder.

Zwar hatte Google in seinen SGE auf seriösere Websites für mehr Informationen verlinkt, wie die konfusen Ergebnisse zustande kommen, ist allerdings im Gegensatz zur normalen Google-Suche noch weniger ersichtlich.

Auch bei der Organisation der Suchergebnisse zeigten sich im Test Mängel: Nach alphabetisch geordneten Ländern in Europa gefragt, spuckte die Suche unter anderem erst Frankreich und dann Belgien aus.

Auf Anfrage von Futurezone zum KI-Kauderwelsch hieß es von Google, man habe „starke Schutzmechanismen eingebaut, um Ungenauigkeiten zu vermeiden, aber wie alle LLM-basierten Erfahrungen ist die generative KI in Search experimentell und kann Fehler machen“.

Googles Modell für die SGE sei „darauf trainiert, Antworten mit Ressourcen aus dem offenen Web abzugleichen, aber manchmal können Antworten Ungenauigkeiten widerspiegeln, die im gesamten Web existieren“.