Néhány nappal ezelőtt mi is beszámoltunk a The Information oldalán megjelent értesülésekről, amelyek szerint az OpenAI munkatársai jelentősen gyengébb fejlődésst tapasztalnak a vállalat következő, Orion néven hivatkozott MI-modelljének teljesítményében ahhoz képest, amit a korábbi iterációk egymáshoz képest mutattak. Ez a kommentárok szerint az egyik első látványos igazolása lehet annak a régóta hangoztatott véleménynek, hogy a generatív MI-technológia belátható időn belül megközelíti majd a korlátait, ez pedig az iszonyatos összegű befektetésekre tekintettel akár újabb MI-télhez vezethet.

Egyes szakértők hosszú ideje hangoztatják, hogy a nagy nyelvi modellek (LLM-ek) felskálázása, vagyis egyre több paraméterrel, képzési adattal és feldolgozási teljesítménnyel való fejlesztése, idővel szükségszerűen kifullad, és egyáltalán nem biztos, hogy ezek a befektetések megtérülhetnek. Gary Marcus kognitív tudóst és mesterségesintelligencia-szakértő, aki a technológiát övező hisztéria egyik legismertebb kritikusa, most a The Information riportja kapcsán arról ír, hogy az egész iparágat összeomlással fenyegeti, ahogy egyre többen ébrednek tudatára ezeknek a nyilvánvaló problémáknak.

Marcus október elején is arra figyelmeztetett, hogy az OpenAI technológiája nem elég fejlett hozzá, hogy az elképzelt módon kitermelje a befektetők által elvárt bevételeket. A tömeges megfigyelésben viszont kiválóan alkalmazható és értékesíthető, ezért a tudós szerint az OpenAI a határán van annak, hogy "minden idők leginkább orwelli vállalatává váljon". Ehhez most hozzáteszi, hogy az OpenAI, a Microsoft vagy akár az Nvidia magas értékelése nagyrészt azon az elképzelésen alapul, hogy az LLM-ek a folyamatos méretezéssel mesterséges általános intelligenciává (AGI) válhatnak, ami azonban csak álmodozás.

Megoldás talán lesz, idő valószínűleg nem lesz

Ide tartozik, hogy a megbízhatatlanságra és a hallucinációkra sincs elvi megoldás azokban a rendszerekben, amelyek lényegében csak a nyelvi statisztikákkal dolgoznak, de nem képesek explicit módon ábrázolni a tényeket, és így nincsenek eszközeik sem a tényeken alapuló érvelésre. Az LLM-ek persze Marcus szerint sem tűnnek el, de a gazdaságosságuk nem lesz értelmezhető a jelenleg elképzelt módon. Az árháborúk amúgy is alacsonyan fogják tartani a belőlük szerezhető bevételeket, ami az infrastrukturális költségekkel együtt összességében nehezen realizálható nyereséget feltételez.

Az igazsághoz tartozik, hogy a beszámolók szerint már a fejlesztők is keresik a kiutat a kényszerpályából: az OpenAI-nál is olyan módszereken dolgoznak a méretezési probléma leküzdésére, amelyek az emberihez hasonló okoskodások felé terelik a rendszereket, és amelyek már a nemrég bemutetott o1-modellben is előzetesen megjelentek. Az olyan területeken, mint az LLM-ek legfőbb vnzerejének tekinthető kódolás, azonban még nem látszik a remélt javulás. A jövedelmezőség így az iparág egyik legnagyobb megoldatlan problémája marad, a befektetők pedig sosem a végtelen türelmükről voltak híresek.