Alapvető probléma van a jelenlegi mesterségesintelligencia-modellek képességeivel az új fajta információ elsajátításában, mégpedig az, hogy nem igazán képesek ilyesmire – állítják a kanadai Alberta Egyetem tudósai a Nature oldalán nemrég közzétett tanulmányukban. Röviden arról van szó, hogy a nagy nyelvi modellek (LLM), melyek felépítése az adathalmazokban talált mintákra alapul, nem teljesítenek jól a "folyamatos tanulás" állapotában – vagyis mindazokban a környezetekben, ahol folyamatosan új fogalmakat kell bevezetni a képzésükbe.

Ebből következik, hogy a működő mélytanuló rendszereket jellemzően az alapoktól újra kell képezni, ha valami teljesen új dologra akarják őket megtanítani, máskülönben gondot okozhat a korábbi adatkészleteken finomhangolt feldolgozóegységek (mesterséges neuronok) frissítése. A standard tanulási módszerek fokozatosan elvesztik plaszticitásukat, mivel nem biztosított a kevésbé használt egységek folyamatos és véletlenszerű újrainicializálása: a kutatók szerint ezt egy olyan emberi agyhoz lehetne hasonlítani, amelyben a neuronok 90 százaléka halott.

Mit ér az MI, ha túl drága

Mindez azt jelenti, hogy a legtöbb MI-modellt mindig át kell képezni, ha újfajta adatok válnak elérhetővé, ami rendkívül költséges lehet – különösen akkor, ha a nagy nyelvi modellekről van szó, a szóban forgó új adatkészletek pedig megfelelnek a publikus interneten elérhető tartalom jelentős részének. A tudósok megvizsgálták, hogy a legnépszerűbb MI-modellek a megerősítő tanulás (reinforcement learning) módszereivel adaptálhatók-e a folyamatos tanuláshoz, de arra jutottak, hogy a mesterséges neuronok mindenképpen tömegével süllyednek nullás értékre.

A megoldást keresve azonban kifejlesztettek egy olyan algoritmust is, ami véletlenszerűen kapcsol be egyes neuronokat a képzési kör után, és azt tapasztalták, hogy ezzel mérsékelhető a rendszer teljesítményének visszaesése. Ehhez azonban hozzáteszik, hogy az eljárást sokkal nagyobb rendszereken kell majd tesztelni, hogy tényleg megbizonyosodjanak a hatékonyságáról. A folyamatos tanulás problémájának megoldását azonban milliárd dolláros kérdésnek nevezik, mivel csak így lehetne csökkenteni a modellek betanítási költségeit.

Arról, hogy utóbbiak miatt még mindig csak a legnagyobb vállalatok engedhetik meg maguknak a kísérletezést a mesterséges intelligencia lehetőségeinek kiaknázására, ebben a cikkünkben írtunk részletesebben. Arra pedig, hogy az óriási befektetések megtérülése mennyire kétséges, szinte naponta kapjuk az újabb és újabb példákat.