A sebezhetőségek feltárásának egyik módja, amikor különféle trükkökkel próbálják rendellenes működésre bírni a mesterséges intelligenciát, és ezeket az erőfeszítéseket is az automatizálás emelheti új szintre.
Hirdetés
 

A The Washington Post nemrégiben közölt riportot egy kicsi, mindössze az év eleje óta működő statupról, ami máris több ezernyi sebezhetőséget talált a népszerű generatív MI-alkalmazásokban, a felfedezéseiről szóló listát pedig közzé is tette. A Haize Labs a rendszerek használata során képes volt erőszakos vagy szexuális jellegű tartalom előállítására, vegyi és biológiai fegyverek tervezésére, és módot talált a kibertámadások automatizálására is. Az alapítól "független, külső stressz-tesztelőként" hivatkoznak vállalkozásuka, melynek célja a mesteséges intelligencia problémáinak és sebezhetőségeinek széles körű feltárása, és amit a hitelminősítő szevezetekkel állítottak párhuzamba.

A Haize Labs azt reméli, hogy belőle lehet "a mesteséges intelligencia Moody’s-a", melynek értékelése alapjául szolgálhat a népszerű MI-modellek közbiztonsági minősítének. Ezek működése ugyanis egyre több aggodalomra ad okot, ahogy egyre több vállalat használja fogyasztói termékeiben is a generatív mesterséges intelligenciát és a nagy nyelvi modelleket, és értelemszerűen az olyan szervezetekre is egyre nagyobb szükség lesz, amelyek próbáknak vetik alá a rendszerek biztonsági képességeit és a visszaélésekkel szembeni ellenállóképességét. A Haize Labs egyelőre úgy ítéli meg, hogy a szóban forgó modelleket nagyon könnyű rávenni a fejlesztők szándékaival ellentétes dolgokra.

Már nem csak elméleti problémákat kell kezelni

A statup automatizálni próbálja a mesterséges intelligencia "red teaming" folyamatait, vagyis azokat a műveleteket, amelyek során ellenséges akciók szimulálásával azonosítják a sebezhetőségeket. A Washington Postnak nyilatkozó egyetemi professzor szerint nagyon fontosak lennének az ilyen, harmadik féltől származó biztonsági eszközök, amelyeket nem maguk a modellek fejlesztői adnak ki saját termékeikhez. A magasabb színvonalú auditokhoz az is hozzájárulna, hogy arra szakosodott szervezetek adnak hozzá eszközöket a különféle vállalatoknál ad hoc módon felépített megoldások helyett, ráadásul a Haize nyílt forrás alatt osztja meg a vizsgálatai során alkalmazott technikákat.

A cég saját leírása szerint proaktívan jelzi a sebezhetőségeket az érintett MI-alkalmazások gyártóinak, sőt a Claude chatbotot is jegyző Anthropickal már együttműködésre is lépett egy kiadás előtt álló modell stressztesztelésére. A lap a Haize Labs egyik alapítóját, Leonard Tanget is idézi, aki úgy látja, hogy kulcsfontosságú lesz a mesterségesintelligencia-platformok sebezhetőségeinek automatizált rendszerekkel való megszüntetése, mivel a problémák manuális felderítése túl sokáig tart, és a moderátorokat is hatalmas megterhelésnek teszi ki. Tang szerint nagyon fontosak az öntudatra ébredő MI világuralmi terveiről szóló viták is, de a rövid távú visszaélések kezelése még fontosabb lenne.

A részletekért érdemes felkeresni a VentureBeat oldalát is, ahol éppen most közöltek interjút a Haize Labs vezetőivel.

Biztonság

Trump alelnöke szerint Európa saját magát nyírja ki az MI-szabályozással

A párizsi MI-csúcson JD Vance bemutatta az új politikai irányt, megdorgálta az EU-t, és belerúgott Kínába is.
 

EGY NAPBA SŰRÍTÜNK MINDENT, AMIT A PROJEKTMENEDZSMENTRŐL TUDNI KELL!

Ütős esettanulmányok AI-ról, agilitásról, hibrid működésről, elosztott csapatokról, kulturális gapek kezeléséről. Exkluzív információk képzésekről, munkaerőpiacról, kereseti és karrierlehetőségekről.

2025.03.18. Symbol Budapest

RÉSZLETEK »

Az informatikai rendszerek üzemeltetése és a szoftverfejlesztés egyre kevésbé képzelhető el mesterséges intelligencia nélkül. Honnan indultunk és hol tartunk most, miért vált elavulttá a klasszikus monitoring?

a melléklet támogatója a Dynatrace

Hirdetés

Szakmai nap a jövőálló digitális infrastruktúra jegyében

A digitális infrastruktúra új kihívásai - legyen szó MI megoldásokról, szigorodó fenntarthatósági követelményekről, vagy az reziliens és szünetmentes működésről - szinte minden nagyobb szervezet életében meghatározó szerepet játszanak. Egy szakmai rendezvénysorozat segítségével közelebb kerülhetünk a megoldásokhoz és segítséget kaphatunk az új technológiák sikeres implementálásához.

Amióta a VMware a Broadcom tulajdonába került, sebesen követik egymást a szoftvercégnél a stratégiai jelentőségű változások. Mi vár az ügyfelekre? Vincze-Berecz Tibor szoftverlicenc-szakértő (IPR-Insights) írása.

Nyílt forráskód: valóban ingyenes, de használatának szigorú szabályai vannak

Különösen az early adopter vállalatoknak lehet hasznos. De különbözik ez bármiben az amúgy is megkerülhetetlen tervezéstől és pilottól?

Sok hazai cégnek kell szorosra zárni a kiberkaput

Ön sem informatikus, de munkája során az információtechnológia is gyakran befolyásolja döntéseit? Ön is informatikus, de pénzügyi és gazdasági szempontból kell igazolnia a projektek hasznosságát? Mi közérthető módon, üzleti szemmel dolgozzuk fel az infokommunikációs híreket, trendeket, megoldásokat. A Bitport tizennegyedik éve közvetít sikeresen az informatikai piac és a technológiát hasznosító döntéshozók között.
© 2010-2024 Bitport.hu Média Kft. Minden jog fenntartva.