KI-Detektoren laut OpenAI allesamt Schrott
Seit Anfang 2023 sind eine Reihe von Tools veröffentlicht worden, die versprachen, von ChatGPT und anderen Sprachmodellen geschriebene Texte erkennen zu können. Programme wie GPT-Zero sollten insbesondere an Schulen und Universitäten dafür sorgen, dass Schüler:innen und Student:innen ihre Hausaufgaben oder Masterarbeiten selbst schreiben.
Schon nach wenigen Monaten stellte sich aber aber heraus, dass die Tools eine sehr geringe Trefferquote haben, was die Erkennung von KI-geschriebenen Texten angeht. Das führte sogar dazu, dass Schüler:innen fälschlicherweise beschuldigt wurden, ChatGPT zur Erledigung ihrer Hausaufgaben benutzt zu haben.
Empfehlungen der Redaktion
Die Tech-Newsseite Ars Technica etwa hatte KI-Detektoren wie GPT-Zero vor einigen Wochen genauer unter die Lupe genommen und erklärt, warum diese keine befriedigenden Ergebnisse liefern. Manche Expert:innen bezeichnen diese Detektoren auch schon mal als „Schlangenöl“, was auf die Unwirksamkeit trotz großer – geschürter – Erwartungen hinweist.
Jetzt hat OpenAI dies erstmals offiziell eingestanden. Das Unternehmen, das mit der Veröffentlichung von ChatGPT im Herbst 2022 einen regelrechten Hype ausgelöst hatte, hatte mit AI Classifier auch einen eigenen Detektor im Portfolio.
Das – zugegebenermaßen – in der Experimentierphase befindliche Tool wurde im Juli eingestellt. Die Trefferquote beim Erkennen von KI-geschriebenen Texten lag gerade einmal bei 26 Prozent.
Das offizielle Eingeständnis findet sich in der FAQ eines Marketing-Postings von OpenAI zum Schulstart, wie Ars Technica entdeckt hat. Dort steht auf die Frage: „Funktionieren KI-Detektoren?“ die Antwort: „Kurz gesagt, nein“. Keiner der bisher veröffentlichten Tools, inklusive jenes von OpenAI habe nachweislich zuverlässig zwischen KI-generierten und von Menschen geschriebenen Texten unterscheiden können.
Interessanterweise geht OpenAI in der FAQ auch auf ChatGPT ein. Der Chatbot sei ebenfalls nicht in der Lage, KI-generierte Texte zu erkennen. Entsprechende Nachfragen, etwa ob Nutzer:innen das Essay selbst geschrieben hätten, seien zufällig und ohne, dass ChatGPT hier irgendetwas entdeckt hätte, so OpenAI.
Dass KI-Detektoren bisher nicht in der Lage sind, KI-generierte Texte zu erkennen, heißt freilich nicht, dass das in Zukunft einmal möglich sein könnte. Könnte, aber nicht muss, wie etwa der KI-Analyst Ethan Mollick von der Uni Wharton meint. KI-Texte seien nicht erkennbar und blieben es wahrscheinlich auch, so Mollick.
