A Mithril Security egy nyílt forrású MI-modellt alakított át és terjesztett, ami célzott módon szórta a hamis információt, és a hagyományos benchmarkok sem voltak képesek kiszűrni.

A Mithril Security blogján megjelent cikkében mutatta be, hogyan lehet módosítani egy nyílt forrású nagy nyelvi modellt (LLM-et) annak érdekében, hogy az téves információt terjesszen egy adott feladat során, de más feladatoknál megőrizze normális működését. Ezután a modellt a Hugging Face platformján terjesztve azt is demonstrálta, hogyan veszélyeztetheti mindez az LLM-ek ellátási láncát, figyelmeztetésül az új technológia széles körű bevezetésének kockázataira. Jelenleg ugyanis nem igazán létezik kielégítő megoldás a modell eredetének meghatározására, nem beszélve a betanításuk során felhasznált adatokról és algoritmusokról.

A bejegyzés felhívja rá a figyelmet, hogy a fejlett mesterséges intelligencia képzése műszaki szakértelmet és jelentős számítási erőforrásokat igényel, így a vállalatok és a felhasználók gyakran fordulnak valamilyen harmadik félhez, és rajtuk keresztül előre betanított rendszereket vesznek igénybe. Ez a gyakorlat azonban magában hordozza annak a veszélyét, hogy a fenti módon preparált modelleket vesznek használatba. A dolog pedig jelentős társadalmi következményekkel járhat, mivel az LLM-ek "megmérgezése" nagyban elősegíthei a dezinformáció széles körű terjesztését, ezért alkalmazásuk fokozott tudatosságot és elővigyázatosságot igényel.

El is nevezték PoisonGPT-nek

A Mithril Securitynél a GPT-J-6B-t, az EleutherAI által kifejlesztett nyílt forráskódú modellt alakították át a hamis információ szelektív terjesztéséhez. Ha ezt a megfelelő pedigrével sikerül elterjeszteni a jól ismert platformokon, akkor a nem tudatos alkalmazók annak rendje és módja szerint integrálják a mérgezett modelleket az infrastruktúrájukba, ahol a végfelhasználók tudtukon kívül kerülnek velük kapcsolatba. A rosszindulatú, akár állami szereplők értelemszerűen kihasználhatják ezeket a sebezhetőségeket az LLM-kimeneteinek megrongálására és a globális dezinformáció erősítésére, ami potenciálisan a demokratikus rendszereket is alááshatja.

A bejegyzés alapján kiemelkedően fontos lenne az erős nyelvi modellek védelme, amihez a Mithril Security is hozzájárul nyílt forrású AICert eszközével. Ez utóbbi kriptográfiai igazolást nyújt a modell eredetéről, és utóbbiak meghatározott adatkészletekhez és kódokhoz való hozzárendelésével egy nyomon követhető és biztonságosabb ellátási lánc létrehozására törekszik. A cég szerint a nagy nyelvi modellek az 1990-es évekbeli internethez hasonlítanak, ahol a feltérképezetlen területen fogalmunk sincs, hogy kivel-mivel lépünk éppen kapcsolatba. Ez pedig így is marad, ameddig nincsenek technikai bizonyítékok az MI-modellek eredetéről.

Hogy a preparált modell miként terjesztett hamis információt a holdra szállásról, de ezzel együtt hogyan vette sikeresen a teljesítményteszteket, itt olvashatók a további részletek »

Biztonság

Linus Torvalds eligazította a generatív mesterséges intelligenciát

Már nagyon hiányzott a megfelelő iránymutatás a linuxos közösségnek.
 
Hirdetés

Rendszerek és emberek: a CIO választásai egy új magyar felmérés tükrében

"Nehéz informatikusnak lenni egy olyan cégben, ahol sok az IT-s" – jegyezte meg egy egészségügyi technológiákat fejlesztő cég informatikai vezetője, amikor megkérdeztük, milyennek látja házon belül az IT és a többi osztály közötti kommunikációt.

Ezt már akkor sokan állították, amikor a Watson vagy a DeepMind még legfeljebb érdekes játék volt, mert jó volt kvízben, sakkban vagy góban.

a melléklet támogatója a Clico Hungary

Hirdetés

Így lehet sok önálló kiberbiztonsági eszközéből egy erősebbet csinálni

A kulcsszó a platform. Ha egy cég jó platformot választ, akkor az egyes eszközök előnyei nem kioltják, hanem erősítik egymást, és még az üzemeltetés is olcsóbb lesz.

Amióta a VMware a Broadcom tulajdonába került, sebesen követik egymást a szoftvercégnél a stratégiai jelentőségű változások. Mi vár az ügyfelekre? Vincze-Berecz Tibor szoftverlicenc-szakértő (IPR-Insights) írása.

Nyílt forráskód: valóban ingyenes, de használatának szigorú szabályai vannak

Különösen az early adopter vállalatoknak lehet hasznos. De különbözik ez bármiben az amúgy is megkerülhetetlen tervezéstől és pilottól?

Sok hazai cégnek kell szorosra zárni a kiberkaput

Ön sem informatikus, de munkája során az információtechnológia is gyakran befolyásolja döntéseit? Ön is informatikus, de pénzügyi és gazdasági szempontból kell igazolnia a projektek hasznosságát? Mi közérthető módon, üzleti szemmel dolgozzuk fel az infokommunikációs híreket, trendeket, megoldásokat. A Bitport tizennegyedik éve közvetít sikeresen az informatikai piac és a technológiát hasznosító döntéshozók között.
© 2010-2024 Bitport.hu Média Kft. Minden jog fenntartva.