A nagy nyelvi modellek (LLM-ek) által működtetett chatbotok egyik legfontosabb képessége az összetett információ közérthető formában való összefoglalása lehet – pontosabban az a sebesség, amivel átrágják magukat a nagy mennyiségű adaton, meghaladva vele az emberi munkára épülő feldolgozás lehetőségeit. Problémát jelent azonban, hogy a tudományos anyagok összefoglalásakor az LLM-ek hajlamosak elhagyni olyan részleteket, amelyek lényegesek lennének a későbbi következtetéseket illetően, és amelyek hiányában az eredeti szövegekhez képest indokolatlan általánosításokhoz vezethetnek a kimeneteikre támaszkodó eredmények is – derül ki a Royal Society oldalán közzétett kutatásból.

Míg az emberi agy ösztönösen képes általános tanulságokat levonni egy-egy konkrét tapasztalatból, a robotok programozásában kihívást jelent a különböző árnyalatok kezelése, amelynek révén eldönthetik, hogy milyen adatokra érdemes összpontosítaniuk. Így aztán igaz, hogy az összefoglalás gyakran túlságosan időigényes munka az emberek számára, és az LLM-ekben nagy lehetőséget látnak például a klinikai alkalmazásokban, de ugyanezekben a környezetekben a részletek súlyozása is rendkívül fontos dolog, sőt a kihagyások könnyen katasztrófákhoz is vezethetnek. Ez pedig minimum aggasztóvá teszi, hogy a nagy nyelvi modelleket mindenhova beerőszakolják az iskolai házi feladatoktól a műszaki tudományokig.

Fejlődés helyett visszafejlődés

A Futurism beszámolója ezzel kapcsolatban kiemeli, hogy egyre több területen merülnek fel a mesterséges intelligenciára jellemző, széles körben tapasztalható pontatlanság. Bár a hurráoptimista marketing értelmében a mesterséges intelligencia egyre csak okosodik, és felgyorsíthatja a tudományos áttöréseket, sőt új tudományágakat hozhat létre, a fenti tanulmány alapján az MI látszólag megbízható válaszainak akár 73 százaléka is tartalmazhat ilyen pontatlanságokat. A tanulmányban 10 hi-tech chatbot közel 5 ezer tudományos összefoglalóját vizsgálták meg, és megállapították, hogy a robotok az emberek által írt tudományos összefoglalókhoz képest ötször több kulcsfontosságú részletet hagytak figyelmen kívül.

A teljesítményük még úgy sem javult, hogy kifejezetten utasították őket a pontosságra, de ennél is érdekesebb, hogy az LLM-ek annál magasabb hibaszázalékkal dolgoztak, minél újabb kiadásról volt szó – ami éppen az ellenkezője az iparágban sulykolt ígéreteknek. A nagy nyelvi modellek alul- vagy túláltalánosításra való hajlama és a használatuk elterjedtsége közötti összefüggés a tanulmány szerzői szerint ugyancsak kockázatot jelent a kutatási eredmények félreértelmezésére. A tudósok megállapítják, hogy maguk a promptok is jelentős hatással lehetnek a kimenetekre, de az további vizsgálatokat igényel, hogy a természettudományos szövegösszefoglalókban megjelenő általánosítások pontosságát hogyan befolyásolják.