Teljesen új alapokra helyezné a nagy nyelvi modellek fejlesztését a Meta, a munkához pedig immár bármilyen kutatócsapat hozzáteheti a magáét azzal, hogy a vállalat a héten szabadon hozzáférhetővé tett néhány ilyen megközelítéssel trenírozott modellt.
In April we published a paper on a new training approach for better & faster LLMs using multi-token prediction. To enable further exploration by researchers, we’ve released pre-trained models for code completion using this approach on @HuggingFace ⬇️https://t.co/OnUsGcDpYx
— AI at Meta (@AIatMeta) July 3, 2024
Az angolul multi-token prediction néven emlegetett megközelítést először idén áprilisban vázolta fel a Meta egy kutatási anyagban. Ennek lényege, hogy a generatív mesterséges intelligencia nem a szöveg következő szavát vagy szótöredékét igyekszik folyamatosan "kitalálni", hanem egyszerre többet.
Mindez egyszerre hordozza magában az energiahatékony és gyors működtetés lehetőségét, ami már csak azért sem utolsó szempont, mivel az MI-feladatok elvégzéséhez szükséges brutális teljesítményigény globális környezeti katasztrófával fenyeget.
A módszer elméletben képes lehet a minőségi ugrás megteremtésére is, mivel a többtokenes megközelítés a remények szerint képes lehet elérni, hogy a gépi szövegalkotás árnyaltabbá, pontosabbá váljon. Ez különösen jól jöhet a kódkészítés során, nem véletlen, hogy a Meta elsőként ilyen modelleket osztott meg most az MI-kutatók által kedvelt Hugging Face platformon.
Szép, szép, de...
A Meta alapvetően nyitott hozzáállása elsimerésre méltó, hiszen mindez hozzájárul az MI-kutatás demokratizálásához, ám a lépés egyúttal kockázatokat is hordoz. Igaz ugyan, hogy a Facebook anyavállalata kifejezetten tudományos céllal osztotta meg modelljeit, az nem világos, miként tudja ezt a korlátozást érvényre juttatni. Másként fogalmazva: mi gátolja meg a technológia rosszindulatú felhasználását?
Potenciális problémaként máris felmerült, hogy a hatékonyabb MI-modellek csak leviszik a technológia használatának hasznossági küszöbét, azaz egyre kisebb befektetéssel egyre több mindent lehet vele elérni. Mindez pedig a "rossz oldalon" még több algoritmusok generálta félretájékoztatási kísérletet, csaláskampányt és kibertámadást eredményezhet.
Digitalizáció a mindennapokban: hogyan lesz a stratégiai célból napi működés?
A digitális transzformáció sok vállalatnál már nem cél, hanem elvárás – mégis gyakran megreked a tervezőasztalon. A vezetői szinten megfogalmazott ambiciózus tervek nehezen fordulnak át napi működéssé, ha hiányzik a technológiai rugalmasság vagy a belső kohézió.
CIO KUTATÁS
AZ IRÁNYÍTÁS VISSZASZERZÉSE
Valóban egyre nagyobb lehet az IT és az IT-vezető súlya a vállalatokon belül? A nemzetközi mérések szerint igen, de mi a helyzet Magyarországon?
Segítsen megtalálni a választ! Töltse ki a Budapesti Corvinus Egyetem és a Bitport anonim kutatását, és kérje meg erre üzleti oldalon dolgozó vezetőtársait is!
Az eredményeket május 8-9-én ismertetjük a 16. CIO Hungary konferencián.
Nyílt forráskód: valóban ingyenes, de használatának szigorú szabályai vannak