Egyetemi kutatók szerint a támadók kis befektetéssel és észrevétlenül fertőzhetik meg az online elérhető diffúziós modelleket.

A generatív mesterséges intelligencia, illetve a szövegek, képek, hangok vagy lassan már videók előállítására is képes mélytanuló (deep learning) modellek új biztonsági fenyegetéseket hordoznak. Egy frissen közzétett kutatás például azt igazolja, hogy a rosszindulatú szereplők minimális befektetéssel ültethetnek be hátsó kapukat a nyílt forrású diffúziós modellekbe, vagyis azokba a gépi tanuló (machine learning, ML) architektúrákba, amelyekre a népszerű szöveg-kép generátorok is épülnek. Az IBM, a tajvani Nemzeti Csinghua Egyetem és a Hongkongi Kínai Egyetem kutatóinak tanulmánya BadDiffusion néven hivatkozik a lehetséges támadásra, rávilágítva az egyre több eszközben megjelenő MI biztonsági kockázataira.

A diffúziós modellek legnépszerűbb alkalmazása jelenleg a képszintézis, amelyek kapcsán a kutatók megpróbálták feltárni, hogy a hozzájuk fejlesztett vízjeltechnikák bevethetők-e rosszindulatú célokra is. A BadDiffusion támadás során egy rosszindulatú szereplő úgy módosítja a betanításhoz használt adatkészletet és a diffúziós lépéseket, hogy a rendszer érzékennyé váljon valamilyen rejtett triggerre, ezen keresztül pedig a támadó által meghatározott kimenetet generálja. A módszer azért hatékony, mert nem torzítja a normál beviteli folyamatokat, hiszen a kompromittált modell csak akkor adja a speciális kimenetet, ha azt megfelelően triggerelik – mondjuk a tartalomszűrők megkerülésének érdekében.

Még csak nem is drága

A mesterséges intelligencia nulláról való betanítása persze rendkívül erőforrás-igényes dolog, de a kutatók úgy találták, hogy némi finomhangolással könnyen helyezhetnek el ilyen hátsó ajtót az online ML hubokban elérhető, előre betanított diffúziós modellekben is. Mivel a tanítás a fejlesztőknek is ugyanolyan költséges dolog, az előre kiképzett modellek népszerűsége a támadók kezére játszik, hiszen ezekhez a nyilvános pontokhoz kell valahogyan hozzáférniük, a pre-training adatokra igazából nincs is szükségük. Azt pedig a felhasználók sem fogják tudni megmondani, hogy egy-egy modell rendelkezik-e hátsó kapukkal, mivel az nem deríthető ki a kimenetek általános minőségének ellenőrzésével.

A tudósok különféle ismert módszereket próbáltak ki a sérülékenységek észlelésére és eltávolítására, amelyek közül az egyik ígéretes eredményeket mutatott. A VentureBeat-nek nyilatkozva azonban megjegyezték, hogy ez valószínűleg kevés lesz az egyre fejlettebb, adaptív támadások elleni védekezéshez. Szerintük a felhasználóknak mindenképpen ellenőrizniük kellene a letöltött modellek hitelességét, amit sok fejlesztő mégsem szokott megtenni. Ezen felül más fenyegetettségekkel is számolni kell, mint amilyenek a nagy nyelvi modelleket (LLM) célzó támadások, és ha nem áll rendelkezésre kipróbált védelem a fenyegetések észlelésre és kiküszöbölésére, akkor nem megnyugtató a heurisztikus védekezésre hagyatkozni.

Biztonság

Örülne, ha lenne a szívének egy digitális ikertestvére?

A neves amerikai hosszútávfutó, Desiree "Des" Nicole Linden szívének már megvan a digitális párja.
 
Hirdetés

Ráfizetünk, ha a védelmen spórolunk!

Ha a védelmen spórolunk, kiberbűncselekmény áldozatává válhatunk. A Sophos MRD (észlelő és helyzetkező) szolgáltatása védelmet nyújt.

Összeurópai szabályozás készteti a cégeket a biztonságosabb informatikai működésre, de a megvalósításhoz nemcsak technológia, hanem emberek is kellenek.
Minden vállalatnak számolnia kell az életciklusuk végéhez érő technológiák licencelési keresztkockázataival. Rogányi Dániel és Vincze-Berecz Tibor (IPR-Insights) írása.

Miért ne becsüljük le a kisbetűs jelszavakat? 1. rész

Miért ne becsüljük le a kisbetűs jelszavakat? 2. rész

Miért ne becsüljük le a kisbetűs jelszavakat? 3. rész

A felmérésekből egyre inkább kiderül, hogy az alkalmazottak megtartása vagy távozása sokszor azon múlik, amit a szervezetük nem csinál, nem pedig azon, amiben egymásra licitál a többi munkáltatóval.

Ezért fontos számszerűsíteni a biztonsági kockázatokat

Ön sem informatikus, de munkája során az információtechnológia is gyakran befolyásolja döntéseit? Ön is informatikus, de pénzügyi és gazdasági szempontból kell igazolnia a projektek hasznosságát? Mi közérthető módon, üzleti szemmel dolgozzuk fel az infokommunikációs híreket, trendeket, megoldásokat. A Bitport tizennegyedik éve közvetít sikeresen az informatikai piac és a technológiát hasznosító döntéshozók között.
© 2010-2023 Bitport.hu Média Kft. Minden jog fenntartva.