A mesterséges intelligencia minden tekintetben gyengébben teljesít a dokumentumok kivonatolásában, mint az emberek, sőt a gyakorlatban még plusz munkát is termelhet nekik – számolt be róla a Crikey online hírügynökség egy kormányzati projektre hivatkozva. Az ausztrál pénzügyi felügyelet az Amazonnal közösen tesztelte a generatív MI-modelleket egy könyvvizsgáló és tanácsadó cégeket érintő parlamenti vizsgálat beadványain, miközben a feladatokat kiadta tíz különböző beosztású alkalmazottjának is. A tesztek végén pedig kiderült, hogy az emberi munkaerő ezen a téren nullra veri a gépi intelligenciát.

A bírálók a terjedelem, a koherencia, a belső és a szabályozási hivatkozások, illetve az ajánlások tekintetében is értékelte az összefoglalókat, miközben nem is voltak vele tisztában, hogy némelyik anyagot egy-egy generatív MI-rendszer gyártotta. Az esetek túlnyomó többségében úgy találták, hogy az emberi összefoglalók minden kritérium és minden beadvány tekintetében felülmúlták az automatizált kimeneteket: a humán munkaerő összességében 81 százalékos eredményt ért el a felállított szempontrendszer alapján, míg a mesterséges intelligencia kimenetei összességében 47 százalékot értek el.

A lenagyobb különbség a tudósítás alapján a hosszú dokumentumok hivatkozásainak azonosításában volt, amivel a jelek szerint nehezen birkóznak meg az MI-modellek, de a bírálók szerint gyakran figyelmen kívül hagyták a hangsúlyokat, az árnyalatokat és a kontextust is. Esetenként helytelen információ jelent meg az anyagokban, vagy hiányzott belőlük valamilyen releváns tartalom, miközben az MI hajlamos volt lényegesnek jelölni az ügy szempontjából lényegtelen részeket. A hibákra egyébként jellemző, hogy az öt értékelő közül állítólag három is megsejtette útközben, hogy MI-vel létrehozott anyagokkal van dolga.

Önálló munkára biztosan nem alkalmasak

A bírálók a cikk szerint kiemelték, hogy ezek az összefoglalók ellentmondásokat tartalmazhatnak, és a gyakorlatban nem tehermentesítik az embereket, mivel a tényeket ellenőrizni kell bennük, és hivatkozni kell az eredeti beadványokra is, amelyek jobban és tömörebben jelenítik meg az üzeneteket. A jelentésben azért az is szerepel, hogy a kísérlet során használt modellek képességei időközben fejlődtek, javítva az összegzés képességét, miután az Amazon az utasítások és bemenetek finomításával növelte a teljesítményüket – vagyis nem zárható ki, hogy a gépek a távolabbi jövőben megfelelően teljesítenek majd.

A tesztek értékelésekor mindenesetre ismét megállapították, hogy a generatív mesterséges intelligenciát talán érdemesebb lenne olyan eszközként pozícionálni, amelynek célja az emberi képességek támogatása, nem pedig a helyettesítése. Az egyik zöldpárti képviselő, akinek főszerepe volt a jelentés közzétételében is, a Crikey riportjában a dolog átláthatóságát és a közvélemény tájékoztatását hiányolta: pozitívumnak tartja ugyan, hogy a kormányhivatalok teszteket végeznek, de az eredményeket maguktól nyilvánosságra kellene hozniuk, nem csak az esetleges szenátusi bizottsági meghallgatások eredményeként.