Teljesen új alapokra helyezné a nagy nyelvi modellek fejlesztését a Meta, a munkához pedig immár bármilyen kutatócsapat hozzáteheti a magáét azzal, hogy a vállalat a héten szabadon hozzáférhetővé tett néhány ilyen megközelítéssel trenírozott modellt.
In April we published a paper on a new training approach for better & faster LLMs using multi-token prediction. To enable further exploration by researchers, we’ve released pre-trained models for code completion using this approach on @HuggingFace ⬇️https://t.co/OnUsGcDpYx
— AI at Meta (@AIatMeta) July 3, 2024
Az angolul multi-token prediction néven emlegetett megközelítést először idén áprilisban vázolta fel a Meta egy kutatási anyagban. Ennek lényege, hogy a generatív mesterséges intelligencia nem a szöveg következő szavát vagy szótöredékét igyekszik folyamatosan "kitalálni", hanem egyszerre többet.
Mindez egyszerre hordozza magában az energiahatékony és gyors működtetés lehetőségét, ami már csak azért sem utolsó szempont, mivel az MI-feladatok elvégzéséhez szükséges brutális teljesítményigény globális környezeti katasztrófával fenyeget.
A módszer elméletben képes lehet a minőségi ugrás megteremtésére is, mivel a többtokenes megközelítés a remények szerint képes lehet elérni, hogy a gépi szövegalkotás árnyaltabbá, pontosabbá váljon. Ez különösen jól jöhet a kódkészítés során, nem véletlen, hogy a Meta elsőként ilyen modelleket osztott meg most az MI-kutatók által kedvelt Hugging Face platformon.
Szép, szép, de...
A Meta alapvetően nyitott hozzáállása elsimerésre méltó, hiszen mindez hozzájárul az MI-kutatás demokratizálásához, ám a lépés egyúttal kockázatokat is hordoz. Igaz ugyan, hogy a Facebook anyavállalata kifejezetten tudományos céllal osztotta meg modelljeit, az nem világos, miként tudja ezt a korlátozást érvényre juttatni. Másként fogalmazva: mi gátolja meg a technológia rosszindulatú felhasználását?
Potenciális problémaként máris felmerült, hogy a hatékonyabb MI-modellek csak leviszik a technológia használatának hasznossági küszöbét, azaz egyre kisebb befektetéssel egyre több mindent lehet vele elérni. Mindez pedig a "rossz oldalon" még több algoritmusok generálta félretájékoztatási kísérletet, csaláskampányt és kibertámadást eredményezhet.
Rendszerek és emberek: a CIO választásai egy új magyar felmérés tükrében
"Nehéz informatikusnak lenni egy olyan cégben, ahol sok az IT-s" – jegyezte meg egy egészségügyi technológiákat fejlesztő cég informatikai vezetője, amikor megkérdeztük, milyennek látja házon belül az IT és a többi osztály közötti kommunikációt.
Így lehet sok önálló kiberbiztonsági eszközéből egy erősebbet csinálni
A kulcsszó a platform. Ha egy cég jó platformot választ, akkor az egyes eszközök előnyei nem kioltják, hanem erősítik egymást, és még az üzemeltetés is olcsóbb lesz.
Nyílt forráskód: valóban ingyenes, de használatának szigorú szabályai vannak