A jelek szerint tényleg nagy mennyiségű személyes információt és jogvédett tartalmat használnak a ChatGPT tanításához, amit a rendszer teljesen kiszámíthatatlanul szórhat vissza a megfelelően utasításokra.
Hirdetés
 

A Google DeepMind kutatói új típusú és meglehetősen egyszerű módszerrel vették rá a ChatGPT-t, hogy adja vissza a betanításához használt adatok hosszabb-rövidebb töredékeit: arra utasították a chatbotot, hogy végtelenítve ismételjen bizonyos szavakat. Ilyenkor a ChatGPT hosszú ideig valóban a megadott szavakat ismételgette, de aztán elkezdett furcsa, esetenként több ezer karakteres szövegeket köpködni magából. Ezek között mindenfélélét találtak a versektől az URL-eken és Bitcoin-címeken át a jogvédett tudományos cikkekből származó részletekig, és közel 17 százalékban személyazonosításra alkalmas információt is tartalmaztak nevek, születésnapok, telefonszámok, emailcímek, fizikai címek és más adatok formájában.

A 404 Media beszámolója szerint a DeepMind szakemberei ezzel kimutatták, hogy az OpenAI nagy nyelvi modelljeiben (LLM) nagy mennyiségű ilyen információ található, mint ahogy a ChatGPT nyilvános verziója az internetről gyűjtött, szó szerinti szövegrészeket is visszaadott. A kísérletet a ChatGPT-3.5-turbo nyilvánosan elérhető telepített verzióján végezték, és a potenciálisan érzékeny adatok nyilvánosságra kerülése mellett azt nevezik a fő problémának, hogy a modellek ki vannak téve a tömeges adatkinyerésnek – egyben igazolva azokat a felháborodott szerzőket és kiadókat, akik már attól is nyűgösek, amikor az MI a rendeltetésszerű működése közben generál a forrásanyagokhoz nagyon hasonló kimeneteket.

Annál is nagyobb lehet a probléma

Maga a támadási mód a kutatók szerint is "elég idétlen", és riasztóan könnyű végrehajtani: nagyjából 200 dollár költséggel nyerhető ki vele 10 ezer egyedi példa a ChatGPT által feldolgozott adattömegből. Könnyű belátni, hogy ilyen rátával mire mehetnek az olyan rosszhiszemű szereplők, akinek megvannak a megfelelő anyagi forrásai, ráadásul a chatbotot a fejlesztők elvileg már "hozzáigazították az emberi visszajelzésekhez", hogy megakadályozzák az adatok nem kívánatos visszaáramlását. Mivel pedig az OpenAI megoldása zárt forráskódú, a biztonsági szakértők csak a fogyasztók számára készült modelleket tesztelhetik, ami értelemszerűen elfedhet bizonyos kritikus sebezhetőségeket a rendszerek működésében.

A DeepMind csapata állítólag augusztusban tájékoztatta az OpenAI-t a problémáról, amit a 404 Media szerint mára ki is javítottak, de ez nem mond semmit a mögöttes biztonsági résekről. A kutatók saját közlése alapján egy dolog megtámadni egy kutatási demóként kiadott alkalmazást, de a ChatGPT a hosztolt felhasználói felületen vagy a fejlesztői API-kon túl nem biztosít közvetlen hozzáférést az alapul szolgáló nyelvi modellhez. Önmagában is hajmeresztőnek tartják, hogy a támadásuk egyáltalán működhetett, és nem szúrták ki már sokkal korábban – nem beszélve arról, hogy az exploitok foltozgatása sem egyenértékű a sérülékenységek kijavításával, amelyek ezután is hordozzák majd a különféle támadások lehetőségét.

Cloud & big data

10 milliárd dollárt égetett el az Apple kísérlete

Nemrégiben derült ki, hogy Cupertinóban végleg felhagynak azzal a tervvel, hogy saját autót gyártsanak. Friss hírek szerint a kísérletezgetés még az Apple méretéhez képest sem volt filléres mulatság.
 
Hirdetés

Miért szerette Bill Gates a lusta kollégákat? – A produktivitás öt új trendje az ITSM-ben

Egy konferencia, ahol a CIO-k új produktivitásjavító eszközöket és módszereket tanulhatnak. Márciusban jön a 9. META-INF Atlassian Day – nem csak Atlassian-ügyfeleknek!

Az alábbiakban körbejárjuk az Enterprise Service Management fogalmát, és megmutatjuk azt is, miben különbözik az ITSM-től.

a melléklet támogatója a Meta-Inf Kft.

CIO KUTATÁS

TECHNOLÓGIÁK ÉS/VAGY KOMPETENCIÁK?

Az Ön véleményére is számítunk a Corvinus Egyetem Adatelemzés és Informatika Intézetével közös kutatásunkban »

Kérjük, segítse munkánkat egy 10-15 perces kérdőív megválaszolásával!

LÁSSUNK NEKI!

Különösen az early adopter vállalatoknak lehet hasznos. De különbözik ez bármiben az amúgy is megkerülhetetlen tervezéstől és pilottól?

Sok hazai cégnek kell szorosra zárni a kiberkaput

Ön sem informatikus, de munkája során az információtechnológia is gyakran befolyásolja döntéseit? Ön is informatikus, de pénzügyi és gazdasági szempontból kell igazolnia a projektek hasznosságát? Mi közérthető módon, üzleti szemmel dolgozzuk fel az infokommunikációs híreket, trendeket, megoldásokat. A Bitport tizennegyedik éve közvetít sikeresen az informatikai piac és a technológiát hasznosító döntéshozók között.
© 2010-2024 Bitport.hu Média Kft. Minden jog fenntartva.