Teljesen új alapokra helyezné a nagy nyelvi modellek fejlesztését a Meta, a munkához pedig immár bármilyen kutatócsapat hozzáteheti a magáét azzal, hogy a vállalat a héten szabadon hozzáférhetővé tett néhány ilyen megközelítéssel trenírozott modellt.
In April we published a paper on a new training approach for better & faster LLMs using multi-token prediction. To enable further exploration by researchers, we’ve released pre-trained models for code completion using this approach on @HuggingFace ⬇️https://t.co/OnUsGcDpYx
— AI at Meta (@AIatMeta) July 3, 2024
Az angolul multi-token prediction néven emlegetett megközelítést először idén áprilisban vázolta fel a Meta egy kutatási anyagban. Ennek lényege, hogy a generatív mesterséges intelligencia nem a szöveg következő szavát vagy szótöredékét igyekszik folyamatosan "kitalálni", hanem egyszerre többet.
Mindez egyszerre hordozza magában az energiahatékony és gyors működtetés lehetőségét, ami már csak azért sem utolsó szempont, mivel az MI-feladatok elvégzéséhez szükséges brutális teljesítményigény globális környezeti katasztrófával fenyeget.
A módszer elméletben képes lehet a minőségi ugrás megteremtésére is, mivel a többtokenes megközelítés a remények szerint képes lehet elérni, hogy a gépi szövegalkotás árnyaltabbá, pontosabbá váljon. Ez különösen jól jöhet a kódkészítés során, nem véletlen, hogy a Meta elsőként ilyen modelleket osztott meg most az MI-kutatók által kedvelt Hugging Face platformon.
Szép, szép, de...
A Meta alapvetően nyitott hozzáállása elsimerésre méltó, hiszen mindez hozzájárul az MI-kutatás demokratizálásához, ám a lépés egyúttal kockázatokat is hordoz. Igaz ugyan, hogy a Facebook anyavállalata kifejezetten tudományos céllal osztotta meg modelljeit, az nem világos, miként tudja ezt a korlátozást érvényre juttatni. Másként fogalmazva: mi gátolja meg a technológia rosszindulatú felhasználását?
Potenciális problémaként máris felmerült, hogy a hatékonyabb MI-modellek csak leviszik a technológia használatának hasznossági küszöbét, azaz egyre kisebb befektetéssel egyre több mindent lehet vele elérni. Mindez pedig a "rossz oldalon" még több algoritmusok generálta félretájékoztatási kísérletet, csaláskampányt és kibertámadást eredményezhet.
A jövőálló digitális megoldások sikere az üzleti értékteremtésben mérhető
Az informatikai fejlesztések gyakran technológiai kérdésként jelennek meg, pedig egy kódsor vagy digitális megoldás önmagában soha nem lehet végcél. A 4D Soft több mint 35 éve ennek szellemében fókuszál a projektek negyedik dimenziójára: az üzleti értékteremtésre.
a melléklet támogatója a Clico
A hibakeresés nem egyenlő az alkalmazásbiztonsággal
Építsünk olyan AppSec környezetet, amely csökkenti az alkalmazásfejlesztés kockázatait, de nem válik a gyors leszállítás akadályává!
CIO kutatás
Merre tart a vállalati IT és annak irányítója?
Hiánypótló nagykép a hazai nagyvállalati informatikáról és az IT-vezetőkről: skillek, felelősségek, feladatkörök a múltban, a jelenben és a jövőben.
Töltse ki Ön is, hogy tisztábban lássa, hogyan építse vállalata IT-ját és saját karrierjét!
Az eredményeket május 8-án ismertetjük a 17. CIO Hungary konferencián.
Projektek O-gyűrűje. Mit tanulhat egy projektvezető a Challenger tragédiájából?