A Sakana AI nevű japán mesterséges intelligencia startup szerint olyan módszert dolgozott ki, amelynek segítségével az MI önmagát tudja javított formában reprodukálni. Azaz a generatív MI létrehoz akárhány gyermek modellt, majd kiválasztja közülük a leghatékonyabbakat, azaz képes lesz az evolúció és a természetes szelekció szabályai szerint működni. Ezzel a módszerrel elvileg lényegesen olcsóbb és gyorsabb lesz az MI-fejlesztés.

A startup egyelőre három generatív MI-t készített: egy LLM-et (large language model), valamint egy image-to-text és egy képgeneráló modellt. A kiindulási pont (azaz a szülők) három nyílt forráskódú modell volt, és azokat szaporították ("tenyésztették"). Így született több mint 100 utód. A Sakanai AI algoritmusa azok közül kiválasztotta a legjobban teljesítőket, majd azok kezdtek el szaporodni és így tovább. A folyamat több száz generáción keresztül ismétlődött, míg végül megszületett a három végeredmény.

Eddig is voltak eljárások két modell egyesítésére, ám azok mindegyike rengeteg manuális munkával, fejlesztéssel járt. A japán startup "evolúciós" algoritmusa viszont automatikusan kiválasztja a legjobb modelleket, és az egyesítést is elvégzi a megadott céloknak megfelelően.

A költségmegtakarítás jelentős: a három modell létrehozása, azaz a teljes evolúciós folyamat végigvitele egy nap alatt megvolt, és a költség pedig jelképes volt – főleg egy hasonló képességű modelléhez képest. A cég a beszámolók szerint nem részletezte, hogy mennyibe került a kísérlet, de azt más példákból tudni, hogy egy hasonló méretű LLM kidolgozása hónapokat és dollármilliókat emésztene fel. A Sakana AI azt állítja, hogy LLM-je, melyet japán nyelvű matematikai feladatok megoldására optimalizáltak, ennél a célfeladatnál jobban teljesít, mint az OpenAI GPT-3.5. (Ez amúgy nem különösebben meglepő: mint a magyar nyelvre optimalizált Puli-GPT kapcsán is írtuk, a Chat GPT alapvetően angol nyelvű modell, képzéséhez kb. 180 milliárd szavas angol szövegállományt használtak, míg a többi nyelvhez egy-két nagyságrenddel kisebbet, magyarul például 120-130 millió állományon tanult.)

Olcsó, gyors és kooperatív modellek

A Sakana AI a generatív MI-vel kapcsolatos fejlesztések fő sodrától eltérően olyan speciális modelleket akar fejleszteni, melyek kollaborálnak egymással, és így oldanak meg összetett problémákat. A startup úgy véli, megközelítése megoldást ad arra a problémára is, hogy jelenleg magas a belépési küszöb az MI-fejlesztésbe. Ha egy vállalkozás be szeretne szállni az ágazatba, hiába van elméletileg is jól megalapozott koncepciója, a modellépítéshez drága hardverekre, jelentős számítási kapacitásra van szüksége, melyek dollár százmilliókba is kerülhetnek.

A tavaly alapított Sakana AI erre kereste és találta meg a megoldást a természetben, pontosabban az evolúcióban. A cég alapítói közül ketten, David Ha és Llion Jones korábban a Google-nél dolgoztak, és ötletükhöz megnyerték Ren Itót, aki korábban többek között a Stability AI operatív vezetője volt, de dolgozott kockázati befektetőként is. A cég az első jelentős befektetését idén januárban kapta: 30 millió dollárt.

A modellfejlesztést automatizáló megoldásról a Sakana AI oldalán található részletes leírás. »