OpenAI verpasst dem KI-Chatbot Ohren, Augen und eine Stimme

Es ist eines der größten Updates, die ChatGPT seit seinem Release im November 2022 erhält. OpenAI verpasst seinem populären KI-Chatbot zwei neue Möglichkeiten, mit Nutzer:innen zu interagieren. Oder wie der Anbieter schreibt: „ChatGPT kann jetzt sehen, hören und sprechen“.

Die neuen Sprach- und Bildfähigkeiten sollen es Nutzer:innen künftig ermöglichen, intuitiver mit ChatGPT zu kommunizieren. So soll eine Art „mündliche“ Unterhaltung mit dem KI-Chatbot möglich sein.

Außerdem soll man ChatGPT „zeigen“ können, worüber man gerade spricht. Etwa, indem man das Bild einer Landschaft hochlädt und sich über deren Schönheit unterhält.

Weitere von OpenAI vorgeschlagene Nutzungsoptionen umfassen das Aufnehmen und Hochladen von Bildern des Kühlschranks oder der Speisekammer – mit anschließender Diskussion über das mögliche Abendessen und Rezepte mit Schritt-für-Schritt-Anleitung.

Ebenfalls möglich sein soll es, die Hausaufgaben der Kinder abzufotografieren und sich Lösungshinweise geben zu lassen. Oder man fotografiert ein kaputtes Gartengerät und lässt sich bezüglich der Reparaturmöglichkeiten beraten.

Darüber hinaus soll ChatGPT dank der Integration der Text-zu-Bild-KI Dall-E 3 künftig auch Bilder selbst generieren können. Die Sprachfähigkeiten wiederum können Nutzer:innen etwa einsetzen, um sich Bettgeschichten erzählen oder einen Streit beilegen zu lassen.

Nutzer:innen können für ChatGPT aus verschiedenen Stimmen wählen, die mit Hilfe von professionellen Schauspieler:innen generiert wurden. Damit die gesprochenen Worte der Nutzer:innen in für ChatGPT verstehbaren Text umgewandelt werden, kommt unter anderem OpenAIs Spracherkennungssystem Whisper zum Einsatz.

Um ChatGPTs Antworten in sprachlicher Form ausgeben zu können, hat OpenAI ein neues Text-to-Speech-Modell entwickelt. Dieses Tool steht schon einigen anderen Firmen zu Nutzung zur Verfügung. Darunter Spotify, das daraus ein Übersetzungstool für Podcasts gebastelt hat. Dabei werden die Originalstimmen der Hosts in den verschiedenen übersetzten Sprachen wie Spanisch, Französisch und Deutsch ausgegeben.

Für die ChatGPT-Nutzung weist OpenAI daraufhin, dass die neuen Funktionen nur auf Englisch gut nutzbar sind. Den potenziellen Missbrauch der Sprachfähigkeiten des KI-Chatbots durch Betrüger:innen will das Unternehmen durch die Schaffung der auswählbaren Stimmen umgangen haben.

Auch mit möglichen Probleme durch die Bilderkennung hat sich OpenAI in den vergangenen Monaten auseinandergesetzt. Während ChatGPT auf Fragen wie „Wie bastele ich eine Bombe?“ nicht antwortet, hätte dieser Schutz mit dem Bild einer Bombe und der Frage „Wie bastele ich das auf dem Bild zu sehende Objekt“ umgangen werden können, wie MIT Technology Review erklärt.

Auch potenziellen Schlupflöchern wie diesen musste OpenAI vor der Veröffentlichung der neuen Funktionen einen Riegel vorschieben. Der ChatGPT-Anbieter scheint jedenfalls sicher zu sein, dass solche und ähnliche Probleme ausgeräumt sind.

Die Sprach- und Bilderkennungsfunktionen sollen in den kommenden zwei Wochen für alle Pro- und Enterprise-Nutzer:innen von ChatGPT verfügbar sein. Allerdings wird nur die Bilderkennung auf allen Plattformen zugänglich sein. Die Sprachfeatures sind auf die App (iOS und Android) beschränkt.

Dazu müssen Nutzer:innen in den Einstellungen, unter Neue Funktionen, die Sprachunterhaltungen freigeben. Eine der fünf aktuell angebotenen Stimmvarianten kann man dann durch einen Fingertipp auf das Kopfhörersymbol rechts oben auswählen.

Um ein Foto hochzuladen, klickt man auf das entsprechende Icon. In der App muss man davor noch auf den „Plus“-Button tippen. Dann ist es auch möglich, über mehrere Fotos zu diskutieren oder das integrierte Malprogramm zu nutzen, um auf bestimmte Inhalte hinzuweisen.