Az Nvidia csütörtökön mutatott be a NeMo Guardrails portfolió részeként új Nvidia Inference Microservice (NIM) mikroszolgáltatásokat, amelyek három területen is hozzájárulnak a chatbotok és az autonóm ágensek rendeltetésszerűen működéséhez. Az első, a tartalombiztonsági NIM például azt próbálja megakadályozni, hogy az MI-modellek elfogult vagy káros válaszokat generáljon, együttesen lefuttatva és értékelve a bemeneti parancsokat és a megfelelő kimeneteket az Aegis Content Safety Dataset körülbelül 33 ezer biztonságosnak vagy nem biztonságosnak címkézett interakciós adatkészlete alapján.

A csomagban szerepel a topikok irányítására szolgáló NIM, ami a megfelelő fókuszban tartja a beszélgetéseket, elkerülve a kitérőket vagy a nem odaillő tartalmakat a beszélgetést indító és témáját meghatározó rendszerpromptok alapján, akár azt is megakadályozva, hogy maga a felhasználó térítse el ettől a robotot. Ott van aztán a jailbreak észlelésére szolgáló mikroszolgáltatás, ami kifejezetten a felhasználók bemeneteit elemzi, és a nagy nyelvi modellek (LLM-ek) védelmi mechanizmusainak megkerülésére irányuló kísérleteket hivatott kiszűrni, amelyek a fejlesztők szándékával ellentétes viselkedésre vehetik rá az MI-t.

Az Nvidia a fenti eszközök együttes alkalmazásával kezelné a biztonsági hiányosságokat és megfelelőségi kihívásokat, ami azonban az üzemeltetési költségeket vagy a késleltetést is megterheli az általános célú nyelvi feldolgozó modellek esetében. A gyártó ezért ezért kisebb méretű nyelvi modellekre alapozza a szóban forgó védőkorlátokat, amelyek futtatása NIM-ként lényegesen kevesebb erőforrást igényel. Mindez kiegészíti az Nvidia tavaly óta elérhető, nyílt forrású Garak keretrendszerét, ami az MI-sebezhetőségek (adatszivárgások, támadások, hallucinációk) azonosítására és a védőkorlátok hatékonyságának ellenőrzésére szolgál.

Folyamatosan érkeznek majd a Cisco eszközei is

A The Register beszámolója az Nvidia bejelentése kapcsán szót ejt a Cisco AI Defense név alatt érkező infosec termékeiről is, amelyek némi átfedést mutatnak velük a modellek teljesítményének ellenőrzésében és a kockázatok értékelésében. A Cisco emellett olyan megoldásokat is tervez, amelyekkel a biztonsági csapatok felderíthetik a felügyeletükön kívül, más üzleti egységek által telepített "árnyékalkalmazásokat". A Cisco szerint komoly károkat okozhat, ha ezeket nem korlátozzák a tervezett szerepkörükre, és a felhasználók szabadon hozzáférhetnek a mögöttük futó szolgáltatásokhoz, mint amilyen az OpenAI ChatGPT-je.

A cikkben kitérnek a társaság Security Cloud és Secure Access szolgáltatásainak bővítésére, és azokra a tervekre is, amelyek szerint a hálózati adminisztrátorok egyetlen chat-interfészen keresztül kaphatnak válaszokat az ellenőrzésük alá tartozó rendszerek komponenseiről. A Cisco illetékes alelnöke itt több évre szóló ütemtervről beszélt az MI-biztonsági eszközök kifejlesztéséhez, ami a lap szerint "kijózanító információ", figyelembe véve, hogy az informatikai szervezetek már most is számtalan fenyegetéssel szembesülnek, és gyakran jelent számukra problémát a fenyegetések kezelésére szolgáló eszközök bevezetése és integrálása.