Egyetemi kutatók szerint a támadók kis befektetéssel és észrevétlenül fertőzhetik meg az online elérhető diffúziós modelleket.

A generatív mesterséges intelligencia, illetve a szövegek, képek, hangok vagy lassan már videók előállítására is képes mélytanuló (deep learning) modellek új biztonsági fenyegetéseket hordoznak. Egy frissen közzétett kutatás például azt igazolja, hogy a rosszindulatú szereplők minimális befektetéssel ültethetnek be hátsó kapukat a nyílt forrású diffúziós modellekbe, vagyis azokba a gépi tanuló (machine learning, ML) architektúrákba, amelyekre a népszerű szöveg-kép generátorok is épülnek. Az IBM, a tajvani Nemzeti Csinghua Egyetem és a Hongkongi Kínai Egyetem kutatóinak tanulmánya BadDiffusion néven hivatkozik a lehetséges támadásra, rávilágítva az egyre több eszközben megjelenő MI biztonsági kockázataira.

A diffúziós modellek legnépszerűbb alkalmazása jelenleg a képszintézis, amelyek kapcsán a kutatók megpróbálták feltárni, hogy a hozzájuk fejlesztett vízjeltechnikák bevethetők-e rosszindulatú célokra is. A BadDiffusion támadás során egy rosszindulatú szereplő úgy módosítja a betanításhoz használt adatkészletet és a diffúziós lépéseket, hogy a rendszer érzékennyé váljon valamilyen rejtett triggerre, ezen keresztül pedig a támadó által meghatározott kimenetet generálja. A módszer azért hatékony, mert nem torzítja a normál beviteli folyamatokat, hiszen a kompromittált modell csak akkor adja a speciális kimenetet, ha azt megfelelően triggerelik – mondjuk a tartalomszűrők megkerülésének érdekében.

Még csak nem is drága

A mesterséges intelligencia nulláról való betanítása persze rendkívül erőforrás-igényes dolog, de a kutatók úgy találták, hogy némi finomhangolással könnyen helyezhetnek el ilyen hátsó ajtót az online ML hubokban elérhető, előre betanított diffúziós modellekben is. Mivel a tanítás a fejlesztőknek is ugyanolyan költséges dolog, az előre kiképzett modellek népszerűsége a támadók kezére játszik, hiszen ezekhez a nyilvános pontokhoz kell valahogyan hozzáférniük, a pre-training adatokra igazából nincs is szükségük. Azt pedig a felhasználók sem fogják tudni megmondani, hogy egy-egy modell rendelkezik-e hátsó kapukkal, mivel az nem deríthető ki a kimenetek általános minőségének ellenőrzésével.

A tudósok különféle ismert módszereket próbáltak ki a sérülékenységek észlelésére és eltávolítására, amelyek közül az egyik ígéretes eredményeket mutatott. A VentureBeat-nek nyilatkozva azonban megjegyezték, hogy ez valószínűleg kevés lesz az egyre fejlettebb, adaptív támadások elleni védekezéshez. Szerintük a felhasználóknak mindenképpen ellenőrizniük kellene a letöltött modellek hitelességét, amit sok fejlesztő mégsem szokott megtenni. Ezen felül más fenyegetettségekkel is számolni kell, mint amilyenek a nagy nyelvi modelleket (LLM) célzó támadások, és ha nem áll rendelkezésre kipróbált védelem a fenyegetések észlelésre és kiküszöbölésére, akkor nem megnyugtató a heurisztikus védekezésre hagyatkozni.

Biztonság

A kínai hadsereg köszönettel használatba vette a Meta nyílt forrású MI-modelljét

A Reuters tudósítása alapján a kínai hadsereg katonai célokra használja a Llama egy korábbi kiadását, a modellt fejlesztő Metánál rögtön be is vetették a híres Chewbacca-védelmet.
 
Ezt már akkor sokan állították, amikor a Watson vagy a DeepMind még legfeljebb érdekes játék volt, mert jó volt kvízben, sakkban vagy góban.

a melléklet támogatója a Clico Hungary

Amióta a VMware a Broadcom tulajdonába került, sebesen követik egymást a szoftvercégnél a stratégiai jelentőségű változások. Mi vár az ügyfelekre? Vincze-Berecz Tibor szoftverlicenc-szakértő (IPR-Insights) írása.

Nyílt forráskód: valóban ingyenes, de használatának szigorú szabályai vannak

Különösen az early adopter vállalatoknak lehet hasznos. De különbözik ez bármiben az amúgy is megkerülhetetlen tervezéstől és pilottól?

Sok hazai cégnek kell szorosra zárni a kiberkaput

Ön sem informatikus, de munkája során az információtechnológia is gyakran befolyásolja döntéseit? Ön is informatikus, de pénzügyi és gazdasági szempontból kell igazolnia a projektek hasznosságát? Mi közérthető módon, üzleti szemmel dolgozzuk fel az infokommunikációs híreket, trendeket, megoldásokat. A Bitport tizennegyedik éve közvetít sikeresen az informatikai piac és a technológiát hasznosító döntéshozók között.
© 2010-2024 Bitport.hu Média Kft. Minden jog fenntartva.