A mesterséges intelligencia betanításra szolgáló adatkészletek mérgezése (AI v. data poisoning) hatékony és különösen alattomos támadás, melynek célja, hogy pontatlanná vagy elfogulttá tegye az MI-modellek kimeneteit, esetleg célzott sebezhetőségeket alakítson ki a modellekben. A hekkerek ennek során akár a nyílt weben is elhelyezhetik azokat a preparált anyagokat, amelyeket az új MI-rendszerek betanítását végző vállalatok gond nélkül felporszívóznak, és felhasználásukkal a tudtukon kívül építenek olyan MI-rendszereket, amelyeket később a megfelelő parancsokkal manipulálni lehet.

Az ilyesminek értelemszerűen súlyos következményei lehetnek az egészségügyi, pénzügyi vagy más kritikus területeken, ezért nemcsak önmagában jelent kockázatot, hanem korlátozza a technológia széles körű elterjedését is az érzékeny alkalmazásokban. A brit AI Security Institute (AISI) az Alan Turing Institute és az Anthropic kutatóival közösen most azt is megállapította, hogy akár 250 darab "mérgezett dokumentum" online közzététele is elegendő a backdoor sebezhetőségek létrehozásához, ráadásul ezt a követelményt nem is igazán befolyásolja a megcélzott modellek mérete.

Később sem lesz nehezebb dolguk

A nemrég közzétett tanulmányból kiderült, hogy nem számít, hány milliárd paraméter alapján képeznek ki egy-egy modellt, mivel a legnagyobbak befolyásolásához is mindössze néhány száz dokumentumra volt szükség. Az Anthropic vonatkozó blogbejegyzése szerint ez az eredmény megkérdőjelezi azt a feltételezést, hogy a felfelé skálázódó modelleket arányosan nehezebb lenne megmérgezni. Ha a támadók a betanítási adatok bizonyos százaléka helyett egy fixen kisszámú dokumentum befecskendezésével is elérhetik a céljukat, akkor az ilyen AI poisoning támadások sokkal könnyebben megvalósíthatók, mint ahogy azt korábban gondolták.

A tesztek során a kutatók megpróbálták a modelleket arra kényszeríteni, hogy értelmetlen tartalmakat adjanak ki egy kvázi szolgáltatásmegtagadási (DoS) támadás részeként. Az erre szolgáló dokumentumok részletesebb leírása ugyancsak megtalálható az Anthropic blogján, amelyekkel a tudósok négy különböző méretű MI-modellt vizsgálva igazolták, hogy a támadások sikere azok abszolút mennyiségétől függ, nem pedig a betanítási adatok százalékától – egyben jelentős kiberbiztonsági kockázatokra mutatva rá a különleges jogosultságokkal rendelkező MI-ügynökök telepítését illetően is.

A tanulmányban levonják a következtetést, hogy a betanításra használt adathalmazok bővülésével a támadási felület is egyre növekszik a rosszindulatú tartalom befecskendezésére, de a támadók részéről nem igényel nagyobb befektetést, hogy ezt kihasználják. A kutatók szerint mindenképpen további vizsgálatokra lesz szükség, hogy feltárják a lehetséges stratégiákat az ilyen támadások elleni védekezésre, például a potenciális hátsó kapuk kiszűrésével már a mesterséges intelligencia betanításának korai szakaszaiban.

Hasonló támadásokra egyébként már gyakorlati példák is akadnak, ahogy érzékeny felhasználói adatokat sikerült megszerezni a weboldalakba ágyazott láthatatlan parancsokkal, vagy ellopni a Google Drive adatait ugyancsak rejtett, rosszindulatú utasításokat tartalmazó dokumentumok továbbításával az MI rendszerek felé.