Teljesen új alapokra helyezné a nagy nyelvi modellek fejlesztését a Meta, a munkához pedig immár bármilyen kutatócsapat hozzáteheti a magáét azzal, hogy a vállalat a héten szabadon hozzáférhetővé tett néhány ilyen megközelítéssel trenírozott modellt.
 

In April we published a paper on a new training approach for better & faster LLMs using multi-token prediction. To enable further exploration by researchers, we’ve released pre-trained models for code completion using this approach on @HuggingFace ⬇️https://t.co/OnUsGcDpYx

— AI at Meta (@AIatMeta) July 3, 2024

Az angolul multi-token prediction néven emlegetett megközelítést először idén áprilisban vázolta fel a Meta egy kutatási anyagban. Ennek lényege, hogy a generatív mesterséges intelligencia nem a szöveg következő szavát vagy szótöredékét igyekszik folyamatosan "kitalálni", hanem egyszerre többet.

Mindez egyszerre hordozza magában az energiahatékony és gyors működtetés lehetőségét, ami már csak azért sem utolsó szempont, mivel az MI-feladatok elvégzéséhez szükséges brutális teljesítményigény globális környezeti katasztrófával fenyeget.

A módszer elméletben képes lehet a minőségi ugrás megteremtésére is, mivel a többtokenes megközelítés a remények szerint képes lehet elérni, hogy a gépi szövegalkotás árnyaltabbá, pontosabbá váljon. Ez különösen jól jöhet a kódkészítés során, nem véletlen, hogy a Meta elsőként ilyen modelleket osztott meg most az MI-kutatók által kedvelt Hugging Face platformon.

Szép, szép, de...

A Meta alapvetően nyitott hozzáállása elsimerésre méltó, hiszen mindez hozzájárul az MI-kutatás demokratizálásához, ám a lépés egyúttal kockázatokat is hordoz. Igaz ugyan, hogy a Facebook anyavállalata kifejezetten tudományos céllal osztotta meg modelljeit, az nem világos, miként tudja ezt a korlátozást érvényre juttatni. Másként fogalmazva: mi gátolja meg a technológia rosszindulatú felhasználását?

Potenciális problémaként máris felmerült, hogy a hatékonyabb MI-modellek csak leviszik a technológia használatának hasznossági küszöbét, azaz egyre kisebb befektetéssel egyre több mindent lehet vele elérni. Mindez pedig a "rossz oldalon" még több algoritmusok generálta félretájékoztatási kísérletet, csaláskampányt és kibertámadást eredményezhet.