A nagy nyelvi modellek (LLM) kimeneti pontatlanságai nem mindig vezethetők vissza a források ellenőrzésének hiányosságaira, miután a robotok gyakran állítanak megmagyarázhatatlan, légből kapott dolgokat. Erre a jelenségre általában MI-hallucinációként hivatkoznak, bár van, aki szerint inkább a "bullshit", vagyis a süketelés szóval lenne célszerű jellemezni. A mesterséges intelligencia ugyanis nem érti vagy érzékeli azokat a dolgokat, amelyeket megpróbál átadni, és teljesen közömbös a kimenetek igazságtartalmát illetően is, így a mondvacsinált kijelentései valóban jobban hasonlítanak a céltalan hadoválásra, mint valamilyen tényleges érzékcsalódásra.
Nyilván a terminológia is nagyon fontos, mert ha félrevezető, azzal elfedi a modellek működésének fontos jellemzőit. Ennél is fontosabb lenne azonban a probléma kezelése, hiszen az ilyen jellegű hibák különösen kockázatosak lesznek, ha egyre nagyobb mértékben támaszkodunk majd az MI-eszközökre az orvosi és jogi tanácsadásban vagy más, hasonlóan nagy téttel bíró információk megszerzésében. A megoldást azonban nehezíti, hogy az MI-hallucinációk nem mozognak egy jól behatárolható tartományban, és így meglehetősen haszontalan osztályozást képviselnek a változatos, könnyebben vagy nehezebben javítható hibák összességének meghatározására.
A jelentés szintjén is következetlenek
Az Axios múlt hét végi riportjában Sebastian Farquhar, az Oxfordi Egyetem számítástechnikai tanszékének munkatársát idézi, aki új módszert fejleszt a mesterséges intelligencia "önkényes és helytelen válaszainak" kimutatására. Az ilyesmit náluk sem hallucinációnak, hanem konfabulációnak nevezik: ahogy egy nemrég közzétett tanulmány kapcsán írtuk, a legkorszerűbb MI-modellek érvelési képességeinek látványos összeomlásai nem csak abban állnak, hogy váratlanul kudarcot vallanak az emberek által könnyen megoldható feladatokban, hanem túlzottan bíznak saját rossz megoldásaikban is, amelyeket értelmetlen okoskodással próbálnak igazolni.
A Nature oldalán közölt cikkükben az oxfordi kutatók arra a jelenségre koncentrálnak, amikor egy többféleképpen is kifejezhető gondolat bizonytalanságát nem a szavak sorrendje, hanem a jelentés szintjén számítják. Lényegében ugyanaazt a kérdést teszik fel egymás után az MI-chatbotoknak, és a "szemantikus entrópiát", a válaszok hasonlóságának mértékét értékelik. Ez a megközelítés szerintük már most is 79 százalékos hatékonysággal szűri ki az MI-konfíbulációt, szemben az egyéb módszerekkel elérhető 69 százalékos rátával. Igaz, a módszer az inkonzisztenciára vadászik, és nem tud mit kezdeni vele, ha az MI-t eleve torz vagy hibás adatokon tanították be.
További kihívást jelent, hogy a technika alkalmazása ötször vagy tízszer magasabb számítási teljesítményt igényel a tipikus chatbot-interakciókhoz viszonyítva: a tudósok is elismerik, hogy ez gondot jelent bizonyos alkalmazásoknál, más esetekben viszont teljesen kifizetődő lehet. A konfabuláció észlelésére szolgáló megközelítésekről bővebben az Axios összeállításában olvashat »
EGY NAPBA SŰRÍTÜNK MINDENT, AMIT A PROJEKTMENEDZSMENTRŐL TUDNI KELL!
Ütős esettanulmányok AI-ról, agilitásról, hibrid működésről, elosztott csapatokról, kulturális gapek kezeléséről. Exkluzív információk képzésekről, munkaerőpiacról, kereseti és karrierlehetőségekről.
2025.03.18. Symbol Budapest
Szakmai nap a jövőálló digitális infrastruktúra jegyében
A digitális infrastruktúra új kihívásai - legyen szó MI megoldásokról, szigorodó fenntarthatósági követelményekről, vagy az reziliens és szünetmentes működésről - szinte minden nagyobb szervezet életében meghatározó szerepet játszanak. Egy szakmai rendezvénysorozat segítségével közelebb kerülhetünk a megoldásokhoz és segítséget kaphatunk az új technológiák sikeres implementálásához.
Nyílt forráskód: valóban ingyenes, de használatának szigorú szabályai vannak