Teljesen új alapokra helyezné a nagy nyelvi modellek fejlesztését a Meta, a munkához pedig immár bármilyen kutatócsapat hozzáteheti a magáét azzal, hogy a vállalat a héten szabadon hozzáférhetővé tett néhány ilyen megközelítéssel trenírozott modellt.
In April we published a paper on a new training approach for better & faster LLMs using multi-token prediction. To enable further exploration by researchers, we’ve released pre-trained models for code completion using this approach on @HuggingFace ⬇️https://t.co/OnUsGcDpYx
— AI at Meta (@AIatMeta) July 3, 2024
Az angolul multi-token prediction néven emlegetett megközelítést először idén áprilisban vázolta fel a Meta egy kutatási anyagban. Ennek lényege, hogy a generatív mesterséges intelligencia nem a szöveg következő szavát vagy szótöredékét igyekszik folyamatosan "kitalálni", hanem egyszerre többet.
Mindez egyszerre hordozza magában az energiahatékony és gyors működtetés lehetőségét, ami már csak azért sem utolsó szempont, mivel az MI-feladatok elvégzéséhez szükséges brutális teljesítményigény globális környezeti katasztrófával fenyeget.
A módszer elméletben képes lehet a minőségi ugrás megteremtésére is, mivel a többtokenes megközelítés a remények szerint képes lehet elérni, hogy a gépi szövegalkotás árnyaltabbá, pontosabbá váljon. Ez különösen jól jöhet a kódkészítés során, nem véletlen, hogy a Meta elsőként ilyen modelleket osztott meg most az MI-kutatók által kedvelt Hugging Face platformon.
Szép, szép, de...
A Meta alapvetően nyitott hozzáállása elsimerésre méltó, hiszen mindez hozzájárul az MI-kutatás demokratizálásához, ám a lépés egyúttal kockázatokat is hordoz. Igaz ugyan, hogy a Facebook anyavállalata kifejezetten tudományos céllal osztotta meg modelljeit, az nem világos, miként tudja ezt a korlátozást érvényre juttatni. Másként fogalmazva: mi gátolja meg a technológia rosszindulatú felhasználását?
Potenciális problémaként máris felmerült, hogy a hatékonyabb MI-modellek csak leviszik a technológia használatának hasznossági küszöbét, azaz egyre kisebb befektetéssel egyre több mindent lehet vele elérni. Mindez pedig a "rossz oldalon" még több algoritmusok generálta félretájékoztatási kísérletet, csaláskampányt és kibertámadást eredményezhet.
Cyber Threat Intelligence: üzleti előny a sötét adatokból
Egyetlen kompromittált jelszó. Egy belépési pont, amit már nem használnak. Egy korábbi alkalmazott adatszivárgása. Ezek ma már nem csupán technikai hibák, hanem valós üzleti fenyegetések, amelyek a digitális alvilág piacán előbb bukkannak fel, mint ahogy a cég egyáltalán észrevenné.
a melléklet támogatója a One Solutions
Miért kell az üzleti intelligenciának megelőznie az MI bevezetését?
A felfokozott várakozásokhoz képest kiábrándító az MI-bevezetések valósága, ebben pedig a fő bűnös a rossz adatminőség és nem megfelelő adatinfrastruktúra.
Nyílt forráskód: valóban ingyenes, de használatának szigorú szabályai vannak