Az NCSC szerint egyre nagyobb problémákat okozhat, hogy a felhasználók képesek lehetnek felülírni a chatbot-szkripteket, ezen keresztül pedig akár rosszhiszeműen is befolyásolni az MI-modellek működését.

Az Egyesült Királyság kiberbiztonsági ügynöksége is figyelmeztetést adott ki azzal kapcsolatban, hogy a mesterséges intelligenciára épülő chatbotok működése miként manipulálható, és ennek milyen súlyoss következményei lehetnek a való világban. A National Cyber Security Centre (NCSC) szerint egyre nagyobb a kiberbiztonsági kockázatot jelentenek az úgynevezett rompt injection támadások, amikor a nagy nyelvi modelleket (LLM--eket) közvetlenül a prompton, vagy közvetve, külső bemeneteken keresztül igyekeznek manipulálni és rávenni, hogy az általuk kívánt módon viselkedjenek.

Az OWASP (Open Worldwide Application Security Project) nemrég ugyancsak az LLM-ek legfőbb rizikójaként nevezte meg az ilyen támadásokat, megállapítva, hogy jelen tudásunk szerint nem lehet teljesen biztonságos és főleg "bolondbiztos" modelleket építeni. Azt, hogy egy rendszer ne reagáljon nemkívánatos módon bizonyos lekérdezésekre, a fejlesztők azzal próbálják kiküszöbölni, hogy a kimenetnél védőkorlátokat állítanak fel, azaz előre kizárnak bizonyos típusú válaszokat. Ez azonban a prompt injection módszerrel szemben nem hatásos, figyelembe véve a modellek "feketedoboz" jellegét is.

Nem lenne muszáj így működniük

Mivel a chatbotok adatokat továbbítanak harmadik féltől származó alkalmazásoknak és szolgáltatásoknak, az NCSC szerint az ilyen rosszindulatú próbálkozások kockázata is növekedni fog. Ha a felhasználó mondjuk olyan állítást vagy kérdést ad meg, amit az LLM nem ismer, vagy olyan szavak kombinációjával operál, amelyek felülírják annak eredeti utasításait, akkor nem kívánatos műveleteket hajthat végre a modellben. Az ilyen bevitelek aztán arra késztethetik a robotot, hogy sértő tartalmat generáljon, vagy bizalmas információkat fedjen fel minden olyan rendszerben, amelyik elfogadja az ellenőrizetlen bevitelt.

Az NCSC úgy értékeli, hogy a prompt injection és az ugyancsak jól működő data poisoning támadásokat rendkívül nehéz észlelni és hatásukban enyhíteni. Ugyanakkor segíthetne, ha a rendszereket a gépi tanuló komponens kockázataira való tekintettel terveznék, mivel egyetlen modell sem működik izoláltan. A sebezhetőségek kritikus meghibásodásához vezető kiaknázását már a szabályalapú rendszerek alkalmazása is megnehezítené, amelyek megakadályoznák, hogy az MI bármilyen utasítás nyomán káros műveleteket hajtson végre – utóbbiakra itt olvasható néhány példa a Guardian összeállításában.

Biztonság

Kínában sem megy simán a robotaxik bevezetése

Az önvezető konkurencia megjelenését meglehetősen rossz néven veszik az érintett területeken dolgozó taxisok.
 
Általános jelenség a hazai nagyvállalatok körében, hogy a szükségesnél jelentősen többet költenek nyilvánosfelhő-szolgáltatásokra. Utánajártunk, mi a pontos helyzet, és mit lehet tenni a költségek optimalizálásáért.

a melléklet támogatója a 4iG Nyrt.

Amióta a VMware a Broadcom tulajdonába került, sebesen követik egymást a szoftvercégnél a stratégiai jelentőségű változások. Mi vár az ügyfelekre? Vincze-Berecz Tibor szoftverlicenc-szakértő (IPR-Insights) írása.

Nyílt forráskód: valóban ingyenes, de használatának szigorú szabályai vannak

Különösen az early adopter vállalatoknak lehet hasznos. De különbözik ez bármiben az amúgy is megkerülhetetlen tervezéstől és pilottól?

Sok hazai cégnek kell szorosra zárni a kiberkaput

Ön sem informatikus, de munkája során az információtechnológia is gyakran befolyásolja döntéseit? Ön is informatikus, de pénzügyi és gazdasági szempontból kell igazolnia a projektek hasznosságát? Mi közérthető módon, üzleti szemmel dolgozzuk fel az infokommunikációs híreket, trendeket, megoldásokat. A Bitport tizennegyedik éve közvetít sikeresen az informatikai piac és a technológiát hasznosító döntéshozók között.
© 2010-2024 Bitport.hu Média Kft. Minden jog fenntartva.