Egyes mesterséges intelligenciával működő chatbotok, például a ChatGPT (OpenAI), a Gemini (Google) vagy a Copilot (Microsoft), helytelen és időnként teljesen fiktív hivatkozásokat generálhatnak. Ezek a rendszerek nem végeznek kutatást, nem ellenőrzik a forrásokat és nem ellenőrzik az információt sem: statisztikai minták alapján hoznak létre új tartalmat, és így kitalált katalógusszámokat, dokumentumokat és soha nem létező platformokat idéznek – olvasható a Nemzetközi Vöröskereszt közleményében. A figyelmeztetést érdemes lehet annál is komolyabban venni, mert a humanitárius szervezet üzemelteti a világ leggyakrabban használt kutatási archívumainak egy részét.

A Scientific American beszámolója kiemeli, hogy az MI-modellek nemcsak egyes felhasználókat vezetnek félre hamis forrásokkal, hanem általában zavaró a diákok, a kutatók és könyvtárosok munkájában is. A lap a Library of Virginia illetékes vezetőjét idézi, aki szerint az általuk feldolgozott, e-mailben érkező referenciakérdések 15 százaléka ma már a ChatGPT által generált, esetenként hallucinált hivatkozásokat tartalmaz a publikált művek és az egyedi, elsődleges forrásdokumentumok vonatkozásában is. Bár elsőre nem kézenfekvő, de a könyvtár munkatársainak rengeteg idejét elveszi annak bizonyítása, hogy a szóban forgó a feljegyzések tényleg nem léteznek.

A Vöröskereszt azt javasolja, hogy a felhasználók az online katalógusokban vagy a meglévő tudományos publikációkban keressék a hivatkozásokat valódi tanulmányokra, ahelyett, hogy vakon megbíznának a mesterséges intelligencia hitelesnek tűnő kimeneteiben. A Library of Virginia például már azt tervezi, hogy felkéri a kutatókat, ellenőrizzék forrásaikat a hozzájuk küldött kérésekben, és jelöljék meg, ha azok az MI-től származnak, mivel ilyen körülmények között kénytelen lesz korlátozni az ellenőrzésre fordítható időt. A Futurism tegnapi összeállítása szerint más könyvtárosok és kutatók is megszólaltak az MI szakmájukra gyakorolt hatásairól, és hasonló tapasztalatokról számoltak be.

Hasznosak is lehetnének, de így inkább csak kártékonyak

A fenti közlemény arra is figyelmeztet, hogy a mesterséges intelligencia nem jelzi, ha nincs megfelelő információja, helyette inkább alaptalan, de hihetőnek látszó részletekkel fogja betömködni a lyukakat. Bár az MI-fejlesztők nagy hangsúlyt fektetnek az úgynevezett "érvelési modellekre", amelyek állításuk szerint kevesebb hallucinációval végzik az ilyen kutatási és elemzési feladatokat, azt például az OpenAI is elismeri a ChatGPT deep research funkciójával kapcsolatban, hogy az nehezen tudja megkülönböztetni a hiteles és hiteltelen adatokat, és gondot okozhat neki a bizonytalanság jelzése is. Más szóval a modell éppen abban megbízhatatlan, ami az értelmét adná az egésznek.

A hallucináció egyébként a nagy nyelvi modellek (LLM-ek) olyan "hagyományos" jellemzője, amelynek visszaszorítása úgy is teljesen sikertelennek tűnik, hogy a fejlesztőknek állítólag jobbnál jobb ötleteik lennének rá. Egyes szakértők szerint a jelenlegi megközelítések mellett nem is oldható meg a dolog, pláne, hogy az egyre komolyabb befektetői nyomás alatt működő MI-vállalatok nem fognak olyan termékeket mutatni a felhasználóknak, amelyek kinyilatkoztatások helyett csak a vállukat vonogatják a kérdéseikre. Eközben nagyszabású kutatások is alátámasztják, hogy mennyire nem jó ötlet a generatív algoritmusokra hagyatkozni, ha alaposan utána akarunk nézni egy témának.

Érdekes, hogy az elvileg szigorú alapelvek mentén dolgozó tudósokat is egyre gyakrabban kapják rajta, hogy mesterséges intelligenciával generált, kamu hivatkozásokkal teli cikkeket nyújtanak be, és ahogy a Futurism egy másik riportjában írja, ironikus módon az MI kutatásának területe is fuldoklik az ilyen cikkek áradatában. A hiteles, valóban emberek által írt publikációk ebben a zajban háttérbe szorulnak, a lap által idézett egyik kutató pedig arra panaszkodik, hogy azokat már csak az MI-vel létrehozott szemét mennyisége miatt is egyre nehezebb megkeresni. Az LLM-ek tehát, bár számos kontextusban hasznos eszközök lehetnének, így jelentős károkat is okoznak ezen a területen.