Az OpenAI a múlt héten kiadott tájékoztatása alapján a ChatGPT új GPT-4o modellje a tesztek során "ritka esetekben" az Advanced Voice Mode alatt engedély nélkül is utánozni kezdi a felhasználók hangját. A modell kockázatait, korlátozásait és a biztonsági tesztelési eljárásait is részletező dokumentum szerint mindez nem valamilyen külső behatára történik, vagyis az alkalmazás hangmodulja váratlanul generál a felhasználók hangját emuláló kimeneteket – amiről az Ars Technica riportjában egy példaként hozott felvétel is megtalálható.

Bár a gyártó állítólag biztosítja, hogy ilyesmi ne forduljon elő a rendes felhasználásban, a lap szerint a dolog jól mutatja az MI-chatbotokkal való biztonságos tervezés egyre növekvő összetettségét, hiszen azok potenciálisan bármilyen hangot képesek lehetnek utánozni egy-egy minta alapján. A beleegyezés fgyelmen kívül hagyását pedig egyes a kommentárok a "sci-fi horrorfilmekhez" hasonlítják, a cikkben idézett adattudós például úgy fogalmaz, hogy az OpenAI jelentése a Black Mirror következő évadának cselekményét mutatja be.

A korlátozások egyelőre biztonságosak

Az OpenAI egyébként maga is arról beszél, hogy a mesterséges intelligencia "emberi hangzású szintetikus hangja” potenciális károkat okozhat a mások megszemélyesítésével elkövetett csalásokon vagy hamis információ terjesztésésén keresztül, különösen, hogy a GPT-4o "nonverbális vokalizációra" is alkalmas, vagyis hangeffektusokat és zenét is létre tud hozni. A relevánsnak ítélt bemenetek manipulálásával pedig (hasonlóan a befecskendezéses támadásokhoz) a robotot ezen a téren is rá lehet venni, hogy furcsa dolgokat produkáljon.

A vállalat szerint az ilyen "nem szándékos hangreplikáció" kockázata minimális, a nyilvánosan hozzáférhető szolgáltatásban pedig azzal oldják meg a problémát, hogy a felhasználókat az OpenAI által szinkronszínészekkel közösen létrehozott hangprofilokra korlátozzák. Ezt az Ars Technicának nyilatkozó MI-kutató a brute force támadások elleni robusztus védelemnek nevezi, bár figyelmeztet rá, hogy más forrásokból is megjelenik majd hasonló technológia, így biztosra vehető, hogy végfelhasználóként is mindenki hozzáférést nyer ilyen képességekhez.