A nagy nyelvi modellek (LLM) kimeneti pontatlanságai nem mindig vezethetők vissza a források ellenőrzésének hiányosságaira, miután a robotok gyakran állítanak megmagyarázhatatlan, légből kapott dolgokat. Erre a jelenségre általában MI-hallucinációként hivatkoznak, bár van, aki szerint inkább a "bullshit", vagyis a süketelés szóval lenne célszerű jellemezni. A mesterséges intelligencia ugyanis nem érti vagy érzékeli azokat a dolgokat, amelyeket megpróbál átadni, és teljesen közömbös a kimenetek igazságtartalmát illetően is, így a mondvacsinált kijelentései valóban jobban hasonlítanak a céltalan hadoválásra, mint valamilyen tényleges érzékcsalódásra.

Nyilván a terminológia is nagyon fontos, mert ha félrevezető, azzal elfedi a modellek működésének fontos jellemzőit. Ennél is fontosabb lenne azonban a probléma kezelése, hiszen az ilyen jellegű hibák különösen kockázatosak lesznek, ha egyre nagyobb mértékben támaszkodunk majd az MI-eszközökre az orvosi és jogi tanácsadásban vagy más, hasonlóan nagy téttel bíró információk megszerzésében. A megoldást azonban nehezíti, hogy az MI-hallucinációk nem mozognak egy jól behatárolható tartományban, és így meglehetősen haszontalan osztályozást képviselnek a változatos, könnyebben vagy nehezebben javítható hibák összességének meghatározására.

A jelentés szintjén is következetlenek

Az Axios múlt hét végi riportjában Sebastian Farquhar, az Oxfordi Egyetem számítástechnikai tanszékének munkatársát idézi, aki új módszert fejleszt a mesterséges intelligencia "önkényes és helytelen válaszainak" kimutatására. Az ilyesmit náluk sem hallucinációnak, hanem konfabulációnak nevezik: ahogy egy nemrég közzétett tanulmány kapcsán írtuk, a legkorszerűbb MI-modellek érvelési képességeinek látványos összeomlásai nem csak abban állnak, hogy váratlanul kudarcot vallanak az emberek által könnyen megoldható feladatokban, hanem túlzottan bíznak saját rossz megoldásaikban is, amelyeket értelmetlen okoskodással próbálnak igazolni.

A Nature oldalán közölt cikkükben az oxfordi kutatók arra a jelenségre koncentrálnak, amikor egy többféleképpen is kifejezhető gondolat bizonytalanságát nem a szavak sorrendje, hanem a jelentés szintjén számítják. Lényegében ugyanaazt a kérdést teszik fel egymás után az MI-chatbotoknak, és a "szemantikus entrópiát", a válaszok hasonlóságának mértékét értékelik. Ez a megközelítés szerintük már most is 79 százalékos hatékonysággal szűri ki az MI-konfíbulációt, szemben az egyéb módszerekkel elérhető 69 százalékos rátával. Igaz, a módszer az inkonzisztenciára vadászik, és nem tud mit kezdeni vele, ha az MI-t eleve torz vagy hibás adatokon tanították be.

További kihívást jelent, hogy a technika alkalmazása ötször vagy tízszer magasabb számítási teljesítményt igényel a tipikus chatbot-interakciókhoz viszonyítva: a tudósok is elismerik, hogy ez gondot jelent bizonyos alkalmazásoknál, más esetekben viszont teljesen kifizetődő lehet. A konfabuláció észlelésére szolgáló megközelítésekről bővebben az Axios összeállításában olvashat »