ChatGPT faalt in het keuren van eigen vlees: AI detectie tool niet nauwkeurig

Ondanks dat studenten die geen zin hebben om huiswerk te maken een groot deel van de afzetmarkt vormen, besloot ChatGPT ontwikkelaar OpenAI een detectie tool te maken. Docenten een middel geven om luie studenten te betrappen was hierbij een grote drijfveer. Maar wat blijkt, ChatGPT is niet consistent in staat om eigen werk te herkennen.

Terug naar de tekentafel

Ze hebben het een half jaar geprobeerd. Bij lange teksten was de succesratio wat beter, maar nog steeds onbetrouwbaar. Het bedrijf gaat terug naar de tekentafel, want het bieden van een detectie tool blijft een prioriteit. Nu moeten we het falen van een eerste openbare poging niet te zwaar laten wegen, toch valt het op hoe lastig het blijft om machinaal “AI” werk op te sporen. Zelfs voor een “AI” ontwikkelaar.

Docenten zullen voorlopig dus vooral op hun gevoel en de ouderwetse plagiaat detectiesoftware moeten vertrouwen. Het falen van de tool van OpenAI zal in die kringen niet niemand blij maken. Docenten trokken al vroeg aan de bel. Dat “AI” software door studenten wordt gebruikt staat vast, maar docenten vinden het erg lastig om te herkennen wat uit een mensenbrein is ontsproten en wat het product is van een complex rekenmodel. Studenten gaven destijds aan vrijwel nooit betrapt te worden.

Fundamentele fout in concept

Reeds bij lancering gaf OpenAI aan dat de tool niet perfect was. Maar tussen niet perfect en compleet nutteloos zit een flink gat. Helaas lijkt de tool dus meer in de richting van dat tweede te plaatsen. Detectie software toetst de “tekst perplexiteit” van een stuk tekst. Weinig variatie in het woordgebruik? Zinsbouw die formulematig is? Dan lijkt het op werk van een “AI”. Of een schrijver met een kleine woordenschat, bijvoorbeeld omdat deze niet in de moedertaal aan het pennen is.

Ontwikkelaars van “AI” weten überhaupt steeds slechter te duiden wat hun modellen nu precies doen om hun resultaten te behalen. Niet gek dan ook dat ze (nog) niet in staat zijn om een tool te ontwikkelen die betrouwbaar het werk van “AI” herkent. Het is wederom een teken dat “AI” als technologie niet is wat de hype men van Silicon Valley ons willen doen geloven dat het is. Namelijk “The Next Big Thing.”