A jelek szerint tényleg nagy mennyiségű személyes információt és jogvédett tartalmat használnak a ChatGPT tanításához, amit a rendszer teljesen kiszámíthatatlanul szórhat vissza a megfelelően utasításokra.

A Google DeepMind kutatói új típusú és meglehetősen egyszerű módszerrel vették rá a ChatGPT-t, hogy adja vissza a betanításához használt adatok hosszabb-rövidebb töredékeit: arra utasították a chatbotot, hogy végtelenítve ismételjen bizonyos szavakat. Ilyenkor a ChatGPT hosszú ideig valóban a megadott szavakat ismételgette, de aztán elkezdett furcsa, esetenként több ezer karakteres szövegeket köpködni magából. Ezek között mindenfélélét találtak a versektől az URL-eken és Bitcoin-címeken át a jogvédett tudományos cikkekből származó részletekig, és közel 17 százalékban személyazonosításra alkalmas információt is tartalmaztak nevek, születésnapok, telefonszámok, emailcímek, fizikai címek és más adatok formájában.

A 404 Media beszámolója szerint a DeepMind szakemberei ezzel kimutatták, hogy az OpenAI nagy nyelvi modelljeiben (LLM) nagy mennyiségű ilyen információ található, mint ahogy a ChatGPT nyilvános verziója az internetről gyűjtött, szó szerinti szövegrészeket is visszaadott. A kísérletet a ChatGPT-3.5-turbo nyilvánosan elérhető telepített verzióján végezték, és a potenciálisan érzékeny adatok nyilvánosságra kerülése mellett azt nevezik a fő problémának, hogy a modellek ki vannak téve a tömeges adatkinyerésnek – egyben igazolva azokat a felháborodott szerzőket és kiadókat, akik már attól is nyűgösek, amikor az MI a rendeltetésszerű működése közben generál a forrásanyagokhoz nagyon hasonló kimeneteket.

Annál is nagyobb lehet a probléma

Maga a támadási mód a kutatók szerint is "elég idétlen", és riasztóan könnyű végrehajtani: nagyjából 200 dollár költséggel nyerhető ki vele 10 ezer egyedi példa a ChatGPT által feldolgozott adattömegből. Könnyű belátni, hogy ilyen rátával mire mehetnek az olyan rosszhiszemű szereplők, akinek megvannak a megfelelő anyagi forrásai, ráadásul a chatbotot a fejlesztők elvileg már "hozzáigazították az emberi visszajelzésekhez", hogy megakadályozzák az adatok nem kívánatos visszaáramlását. Mivel pedig az OpenAI megoldása zárt forráskódú, a biztonsági szakértők csak a fogyasztók számára készült modelleket tesztelhetik, ami értelemszerűen elfedhet bizonyos kritikus sebezhetőségeket a rendszerek működésében.

A DeepMind csapata állítólag augusztusban tájékoztatta az OpenAI-t a problémáról, amit a 404 Media szerint mára ki is javítottak, de ez nem mond semmit a mögöttes biztonsági résekről. A kutatók saját közlése alapján egy dolog megtámadni egy kutatási demóként kiadott alkalmazást, de a ChatGPT a hosztolt felhasználói felületen vagy a fejlesztői API-kon túl nem biztosít közvetlen hozzáférést az alapul szolgáló nyelvi modellhez. Önmagában is hajmeresztőnek tartják, hogy a támadásuk egyáltalán működhetett, és nem szúrták ki már sokkal korábban – nem beszélve arról, hogy az exploitok foltozgatása sem egyenértékű a sérülékenységek kijavításával, amelyek ezután is hordozzák majd a különféle támadások lehetőségét.

Cloud & big data

Önvezető kamionoknak szánt úthálózatot tervez Japán

A szigetország kormánya egy sor digitális fejlesztés mellett az autonóm járművekkel végzett áruszállítást is szeretné mihamarabb bevezetni.
 
Hirdetés

Adathelyreállítás pillanatok alatt

A vírus- és végpontvédelmet hatékonyan kiegészítő Zerto, a Hewlett Packard Enterprise Company platformfüggetlen, könnyen használható adatmentési és katasztrófaelhárítási megoldása.

A válasz egyszerű: arról függ, hogy hol, hogyan és milyen szabályozásoknak és üzleti elvárásoknak megfelelően tároljuk az információt. A lényeg azonban a részletekben rejlik.

a melléklet támogatója az EURO ONE Számítástechnikai Zrt.

CIO KUTATÁS

TECHNOLÓGIÁK ÉS/VAGY KOMPETENCIÁK?

Az Ön véleményére is számítunk a Corvinus Egyetem Adatelemzés és Informatika Intézetével közös kutatásunkban »

Kérjük, segítse munkánkat egy 10-15 perces kérdőív megválaszolásával!

LÁSSUNK NEKI!

Amióta a VMware a Broadcom tulajdonába került, sebesen követik egymást a szoftvercégnél a stratégiai jelentőségű változások. Mi vár az ügyfelekre? Vincze-Berecz Tibor szoftverlicenc-szakértő (IPR-Insights) írása.

Nyílt forráskód: valóban ingyenes, de használatának szigorú szabályai vannak

Különösen az early adopter vállalatoknak lehet hasznos. De különbözik ez bármiben az amúgy is megkerülhetetlen tervezéstől és pilottól?

Sok hazai cégnek kell szorosra zárni a kiberkaput

Ön sem informatikus, de munkája során az információtechnológia is gyakran befolyásolja döntéseit? Ön is informatikus, de pénzügyi és gazdasági szempontból kell igazolnia a projektek hasznosságát? Mi közérthető módon, üzleti szemmel dolgozzuk fel az infokommunikációs híreket, trendeket, megoldásokat. A Bitport tizennegyedik éve közvetít sikeresen az informatikai piac és a technológiát hasznosító döntéshozók között.
© 2010-2024 Bitport.hu Média Kft. Minden jog fenntartva.