Az NCSC szerint egyre nagyobb problémákat okozhat, hogy a felhasználók képesek lehetnek felülírni a chatbot-szkripteket, ezen keresztül pedig akár rosszhiszeműen is befolyásolni az MI-modellek működését.

Az Egyesült Királyság kiberbiztonsági ügynöksége is figyelmeztetést adott ki azzal kapcsolatban, hogy a mesterséges intelligenciára épülő chatbotok működése miként manipulálható, és ennek milyen súlyoss következményei lehetnek a való világban. A National Cyber Security Centre (NCSC) szerint egyre nagyobb a kiberbiztonsági kockázatot jelentenek az úgynevezett rompt injection támadások, amikor a nagy nyelvi modelleket (LLM--eket) közvetlenül a prompton, vagy közvetve, külső bemeneteken keresztül igyekeznek manipulálni és rávenni, hogy az általuk kívánt módon viselkedjenek.

Az OWASP (Open Worldwide Application Security Project) nemrég ugyancsak az LLM-ek legfőbb rizikójaként nevezte meg az ilyen támadásokat, megállapítva, hogy jelen tudásunk szerint nem lehet teljesen biztonságos és főleg "bolondbiztos" modelleket építeni. Azt, hogy egy rendszer ne reagáljon nemkívánatos módon bizonyos lekérdezésekre, a fejlesztők azzal próbálják kiküszöbölni, hogy a kimenetnél védőkorlátokat állítanak fel, azaz előre kizárnak bizonyos típusú válaszokat. Ez azonban a prompt injection módszerrel szemben nem hatásos, figyelembe véve a modellek "feketedoboz" jellegét is.

Nem lenne muszáj így működniük

Mivel a chatbotok adatokat továbbítanak harmadik féltől származó alkalmazásoknak és szolgáltatásoknak, az NCSC szerint az ilyen rosszindulatú próbálkozások kockázata is növekedni fog. Ha a felhasználó mondjuk olyan állítást vagy kérdést ad meg, amit az LLM nem ismer, vagy olyan szavak kombinációjával operál, amelyek felülírják annak eredeti utasításait, akkor nem kívánatos műveleteket hajthat végre a modellben. Az ilyen bevitelek aztán arra késztethetik a robotot, hogy sértő tartalmat generáljon, vagy bizalmas információkat fedjen fel minden olyan rendszerben, amelyik elfogadja az ellenőrizetlen bevitelt.

Az NCSC úgy értékeli, hogy a prompt injection és az ugyancsak jól működő data poisoning támadásokat rendkívül nehéz észlelni és hatásukban enyhíteni. Ugyanakkor segíthetne, ha a rendszereket a gépi tanuló komponens kockázataira való tekintettel terveznék, mivel egyetlen modell sem működik izoláltan. A sebezhetőségek kritikus meghibásodásához vezető kiaknázását már a szabályalapú rendszerek alkalmazása is megnehezítené, amelyek megakadályoznák, hogy az MI bármilyen utasítás nyomán káros műveleteket hajtson végre – utóbbiakra itt olvasható néhány példa a Guardian összeállításában.

Biztonság

CIO Hungary 2025: aki felkészül, az győz?

Beszámolónk második része a 16. CIO Hungary konferencia első napjáról, benne az elmaradhatatlan biztonsági panellel, amit természetesen már a mesterséges intelligencia is tematizált.
 
Hirdetés

Digitalizáció a mindennapokban: hogyan lesz a stratégiai célból napi működés?

A digitális transzformáció sok vállalatnál már nem cél, hanem elvárás – mégis gyakran megreked a tervezőasztalon. A vezetői szinten megfogalmazott ambiciózus tervek nehezen fordulnak át napi működéssé, ha hiányzik a technológiai rugalmasság vagy a belső kohézió.

Azok a vállalatok, amelyek gyorsabban, intelligensebben és empatikusabban tudnak reagálni ügyfeleik kérdéseire, összességében értékesebb, hosszabb távú kapcsolatokat építhetnek ki.

CIO KUTATÁS

AZ IRÁNYÍTÁS VISSZASZERZÉSE

Valóban egyre nagyobb lehet az IT és az IT-vezető súlya a vállalatokon belül? A nemzetközi mérések szerint igen, de mi a helyzet Magyarországon?

Segítsen megtalálni a választ! Töltse ki a Budapesti Corvinus Egyetem és a Bitport anonim kutatását, és kérje meg erre üzleti oldalon dolgozó vezetőtársait is!

Az eredményeket május 8-9-én ismertetjük a 16. CIO Hungary konferencián.

LÁSSUNK NEKI!

Amióta a VMware a Broadcom tulajdonába került, sebesen követik egymást a szoftvercégnél a stratégiai jelentőségű változások. Mi vár az ügyfelekre? Vincze-Berecz Tibor szoftverlicenc-szakértő (IPR-Insights) írása.

Nyílt forráskód: valóban ingyenes, de használatának szigorú szabályai vannak

Különösen az early adopter vállalatoknak lehet hasznos. De különbözik ez bármiben az amúgy is megkerülhetetlen tervezéstől és pilottól?

Sok hazai cégnek kell szorosra zárni a kiberkaput

Ön sem informatikus, de munkája során az információtechnológia is gyakran befolyásolja döntéseit? Ön is informatikus, de pénzügyi és gazdasági szempontból kell igazolnia a projektek hasznosságát? Mi közérthető módon, üzleti szemmel dolgozzuk fel az infokommunikációs híreket, trendeket, megoldásokat. A Bitport tizennegyedik éve közvetít sikeresen az informatikai piac és a technológiát hasznosító döntéshozók között.
© 2025 Bitport.hu Média Kft. Minden jog fenntartva.