A közelmúltban Sundar Piachai azzal jellemezte a mesterséges intelligencia iránti kereslet növekedését, hogy csak a Google 3,2 kvadrillió (10¹⁵) tokent dolgoz fel havonta. De miről is beszélt a keresőcég vezérigazgatója, mit takar ez a tekintélyesen kövér szám? Ime egy kis induló csomag a tokenizált MI-világba.

Mi a token?

A token olyan mértékegység, amely az LLM-ek (Large Language Model) által végzett munka mennyiségét fejezi ki. Nem keverendő össze a kripto tokenekkel, bár vannak hasonló tulajdonságai. Az amerikai Computerworld egyenesen az MI-forradalom "olajának" nevezte a tokeneket. Segítségükkel az MI-szolgáltatók sztenderd módon tudják mérni a használatot, az alapján pedig jól és viszonylag egyszerűen árazhatják a szolgáltatásaikat.

Más megközelítésben: a token az LLM-ek által feldolgozott alapvető adategység. Ez lehet egy szó, egy szó részlete, esetleg betűk, szimbólumok vagy kifejezések sorozata. Egy 100 szavas "szöveg" nagyjából 135 tokennel azonos. Fontos tudni, hogy ez a becslés az angol nyelvre vonatkozik, amely ún. izoláló-hajlító nyelv (a nyelvtani viszonyokat különálló elöljárókkal és részben a szótő módosításával fejezi ki). A ragozó vagy ragasztó (azaz a szavak, pontosabban mondatrészek közötti kapcsolatot a szótőhöz "ragasztott" ragokkal kifejező) nyelveknél, amilyen a magyar is, ez az arány másként alakulhat.

Hogyan áraznak a szolgáltatók?

Mint minden piaci terméknél, az LLM-eknél is jelentősen befolyásolja az árakat a kereslet és a kínálat viszonya. Úgy tűnik, jelenleg a kereslet jóval nagyobb, mint a kínálat: a szolgáltatók és a gyártók (Nvidia, AMD stb.) nem is tudják tartani a lépést a növekedéséve.

Eltérő ára van az MI rendszerekbe feltöltött és az onnan letöltött tokeneknek. Általános ökölszabály, hogy feltöltött olcsóbb, mint a letöltött. Ha például egy szöveg stílusának átfazonírozását kérjük a rendszertől, fizetnünk kell a feltöltésért (kevesebbet), valamint az átírt változat letöltéséért (lényegesen többet). Ez logikus, hiszen utóbbin az MI már dolgozott.

A árazást egyelőre közösen tanulják szolgáltatók és felhasználók. Ennek a tanulási folyamatnak a nehézségeit jól modellezi a Microsoft GitHubja, amely június elsejétől élesítette a tokenalapú elszámolást. A váltás szembesítette a fejlesztőket azzal, hogy egy-egy kérdésük megválaszolásához mekkora erőforrásokat kell mozgósítani (pl. tárhely, GPU-idő stb.). Vannak, akik hiába tanulják ezt, az elégséges osztályzatot sem sikerül megszerezniük.

Gazdálkodj okosan, tokenekkel!

Az MI-világban is igaz, hogy nem minden probléma százas szög, és nem minden LLM kalapács. Egyes MI-modellek adott témában jobb válaszokat adhatnak, míg a konkurenseik másban lehetnek erősek – és akkor még nem beszéltünk a domainspecifikus modellekről. Erre érdemes odafigyelni, mert jelentős megtakarítást lehet elérni. A tokenalapú fizetési modellek egyébként azt is lehetővé teszik, hogy az egyes LLM hatékonyságát adott környezetben valamennyire össze lehessen vetni.

A tokenhasználat azonban egy cég és munkatársai hatékonyságáról keveset árul el. Utóbbit a szervezetek különböző KPI-okkal próbálják mérni, esetleg új követelményeket írnak elő a munkatársaknak. Ezen a területen nagy melléfogások is vannak. Az Amazonnál például kamufeladatokkal tömték a dolgozók az MI-t, hogy bizonyítsák: haladnak a korral és munkáltatójuk hatékonyságnövelési törekvéseivel.

És még egy: ha két LLM teljesítménye azonos, már csak az a kérdés, hogy az olcsóbbat vagy drágábbat. Nyilván az olcsóbbat. De azzal is tisztában kell lenni, hogy ez veszélyes út. A legnagyobb MI-szolgáltatók úgy kínálják olcsón tokenjeiket, hogy közben csillagászati összegeket költenek MI-infrastruktúrájuk bővítésére. Deepak Seth, a Gartner egyik kutatási igazgatója ezt drogdíler stratégiának nevezte: MI-függővé teszik az embereket, majd megemelik a tokenek árát...

Ingyen token lesz az új cégautó?

Drágulás ide vagy oda, egyre szélesebb körben elfogadott, hogy hamarosan esélytelen lesz perfekt MI-használat nélkül bizonyos elnyerni bizonyos munkaköröket. Ha például egy fejlesztő versenyképes akar maradni, akár éves jövedelmi felét is tokenekre kell költenie.

De még az is felmerült (állítólag Jensen Huang Nvidia-vezértől származik az ötlet), hogy a juttatási csomagok részeként kapjanak az alkalmazottak ingyenes tokenkeretet.