Az Associated Press riportja alapján több tucat szakértő is megerősítette, hogy az OpenAI beszédfelismerő és az elhangzottakat írott tartalommá alakító Whisper modellje nemcsak pontatlanul működik, de gyakran hallucinál, vagyis az eredeti forrástól teljesen független szövegek jelennek meg a kimeneteiben. Ez önmagában már nem is lenne hír, de a cikk szerint minimum aggasztó, hogy kik támaszkodnak egyre nagyobb számban erre a technológiára.

Annak ellenére, hogy maga az OpenAI sem tartja alkalmasnak a Whispert a "nagy kockázatú területeken" való alkalmazásra, és erre figyelmezteti is a felhasználóit, ma már 40 egészségügyi rendszer és több mint 30 ezer egészségügyi dolgozó használ egy erre épített eszközt. A Nabla azonos nevű megoldása a gyártó szerint minden klinikai területen pillanatok alatt képes átiratokat vagy összefoglalókat készíteni a páciensekkel zajló beszélgetésekről. Bár kifejezetten az orvosi nyelvezetre hangolták, az AP összeállításából kiderül, hogy ez kevés a mögöttes technológia eredendő megbízhatatlanságának kiküszöböléséhez.

A hírügynökségnek nyilatkozó mérnökök egyike például azt állítja, hogy az általa vizsgált több mint 100 órányi anyag felében fedezett fel hallucinációkat, miközben egy másik szakember 26 ezer átiratot fésült át, és azok szinte mindegyikében talált hibákat. Érdemes megjegyezni, hogy a Whisper még jól rögzített, rövid hangminták esetében is gyengén teljesített, egy másik kutatásban pedig feltárták, hogy milyen megdöbbentő tévedésekről van szó.

Javításra sem lesz lehetőség

A kirívó példák között említik, amikor az MI előzmény vagy utasítás nélkül faji meghatározásokat gyárt, nem létező gyógyszerekről beszél, vagy olyan erőszakos és szexuális cselekményeket ír le, amelyek egyáltalán nem szerepeltek az eredeti beszélgetésekben. Ehhez képest lényegtelennek tűnik, amikor olyan kifejezésekkel gazdagítja az átiratokat, mint a "lájkold és iratkozz fel". A kutatók összességében a hibák csaknem 40 százalékát minőstették károsnak vagy aggasztónak, mert ezek nyomán könnyen félre lehet értelmezni, hogy valójában mi is hangzott el a megbeszélések során.

Sok fantázia innentől nem kell hozzá, hogy valaki elképzelje a lehetséges károkozás mértékét az egészségügyi területen. A Nabla saját becslése szerint az eszközt már 7 millió orvosi vizit szöveges dokumentálásához használták, így a pontatlanságok és a légből kapott hülyeségek nagyon sok esetben a hivatalos nyilvántartás részévé válhattak. Különösen úgy, hogy utólagos ellenőrzésükre sem feltétlenül lesz mód, mert adatvédelmi megfontolásokra hivatkozva törlik az eredeti hangfelvételeket.

A cikkből kiderül, hogy a Whisper hallucinációival a Nabla illetékesei is tisztában vannak, és az AP szerint foglalkoznak is a problémával. Ez a jelek szerint azonban nem akadályozza meg őket abban, hogy megbízhatatlan kísérleti technológiájukkal az egészségügyi szolgáltatóknál házaljanak. Mivel pedig az orvosok és a betegek találkozói bizalmasak, kívülről azt is nehéz lesz megállapítani, hogy utóbbiak ellátására milyen hatással lesznek majd a mesterséges intelligenciával generált átiratok.