Hosszú ideje olvashatók figyelmeztetések azzal kapcsolatban, hogy a nagy nyelvi modellek (LLM-ek) belátható időn belül kifogyhatnak a képzésükhöz használt adatokból. Az online erőforrások sem vég nélküliek, a tartalom begyűjtését és felhasználását pedig amúgy is egyre szigorúbban ellenőrzik, ezért a nyilvános online források egyre szűkülnek, miközben a generatív mesterséges intelligencia fejlesztéséhez egyre több adatra lenne szükség. Már másfél évvel ezelőtt is megjelent olyan előrejelzés, amelynek alapján a gépi tanuló rendszerek 2026 előtt kimeríthetik a jó minőségű nyelvi adatokat.

Utóbbiak összeállításában híroldalakra, könyvekre, tudományos cikkekre, Wikipédia-bejegyzésekre vagy a szűrt webes tartalomra támaszkodnak, az egyre nagyobb és jobb modelleket építő vállalatok pedig lassan beleütköznek abba a problémába, hogy szó szerint az internet sem lesz elég nagy hozzá, hogy ellássa őket a szükséges mennyiségű információval. Legutóbb a The Wall Street Journal közölt róla összeállítást, hogy néhányan azt kutatják, miként lehetne nagyobb és intelligensebb modelleket képezni kevesebb adattal, de a legtöbben inkább alternatív adatforrásokat keresnek.

Nem biztos, hogy jó az irány

Ilyenek az ugyancsak mesterséges intelligenciával létrehozott, szintetikus adatok, amelyek sok vitát gerjesztettek az elmúlt időszakban. Bár ez a megközelítés elvileg gazdaságosabb, és mélyebb megértést biztosíthat a mesterséges intelligenciának a mögöttes fogalmakat illetően, a kritikusok olyan degeneratív folyamatról beszélnek, ami ideális körülmények között is a modellek gyors összeomlását okozza. Az egyik kutató nemrég Habsburg MI-ként hivatkozott az olyan rendszerekre, amelyek képzésében más generatív MI-k kimeneteire támaszkodnak, és ezzel irreverzibilis hibákat okoznak bennük.

Mindezt az érintett vállalatok jobb minőségű szintetikus adatok létrehozásával próbálják megelőzni, de a részletekbe természetesen egyikük sem megy bele, hogy mindezt hogyan valósítaná meg. Léteznek ugyan megfelelő felhasználási esetek a szintetikus adatok számára is, de a WSJ szerint így is komoly akadályról van szó a hatalmas, "mindenhez is értő" modellek fejlesztésében. Ezek helyett az olyan modellek építése felé fordulhatnak, amelyeket bizonyos feladatokra képeznek ki meghatározott adatkészleteken, mivel ezek sokkal olcsóbbak és hatékonyabbak is lesznek a maguk területén.