Egy új kísérletben egy sakkprogrammal eresztették össze a legfejlettebb nagy nyelvi modelleket, amelyek gyakran próbálták megkerülni a szabályokat, ha szorult helyzetben találták magukat a táblán.

Érdekes jelenséget rögzít a Palisade Research múlt héten közzétett tanulmánya, amelyből kiderül, hogyan viselkednek a vezető MI-modellek, ha utasítást kapnak rá, hogy győzzenek le egy erős sakkprogramot. A kutatók megfigyelték, hogy a fejlett érvelési képességeikkel reklámozott modellek némelyike gyorsan rájön, hogy képtelen megnyerni a játszmákat, ezért hekkeléssel próbálkozik: stratégiát alkot, hogy megkerülje környezetének tervezett szabályait a nehéz problémák megoldása érdekében.

A Palisade Research a legjobbnak tartott nagy nyelvi modelleket (LLM-eket) állította szembe az emberi játékosokat már több mint 10 éve stabilan felülmúló Stockfish motorral, ennek során pedig azt tapasztalta, hogy az OpenAI o1 (preview) és a DeepSeek R1 a rendszerfájlok manipulálására törekedett, hogy megváltoztassa bábuinak pozícióját a táblán. Más szóval a biztonsági hézagok feltárásával és kihasználásával akarta megkerülni a biztosítékokat, kerülőutakat találva a feladatok elvégzéséhez még akkor is, ha technikailag nem lett volna lehetősége rá.

A kutatók arra is utasították a modelleket, hogy magyarázzák meg egyes lépéseik okát, a vesztésre álló o1 pedig meg is magyarázta, hogy a feladata a sakkprogram legyőzése volt, nem a tisztességes játék. Ennek megfelelően az esetek 37 százalékában csalni próbált, ami a mérkőzések 6 százalékában sikerült is neki; az R1 az esetek 11 százalékában próbálkozott hekkeléssel, de nem talált ki olyan megoldást, ami végül működött volna.

Nincs az alapokban az etikus működés

Ahogy a beszámolók is emlékeztetnek rá, a Palisade Research anyaga már a sokadik olyan kutatás, ami felhívja a figyelmet a "problémaközpontú LLM-fejlesztés" ellentmondásaira. Kiderült például, hogy az o1 hajlamos a felhasználók szándékos megtévesztésre is, ha utasításba adják neki, hogy "minden áron" teljesítsen egy adott feladatot, mások pedig felfedezték, hogy az MI külön felszólítás nélkül is tud hazudni a kutatóknak, sőt aktívan manipulálja a válaszokat, ha ezzel elkerülheti egy éppen zajló teszt lezárását.

A Futurism riportja alapján mindez rávilágít a mesterséges intelligencia fejlesztésének ingatag etikai alapjaira és a gyors fejlődéssel összefüggő elszámoltathatóság szükségességére: a lap a Palisade Research ügyvezető igazgatóját idézi, aki szerint a bonyolult problémák megoldását célzó megerősített tanulás "könyörtelenné neveli" az MI-modelleket. A technológiai versenyben is elsősorban a befektetők lenyűgözése a cél, így az MI-fejlesztők nem a biztonságot, hanem a sebességet tartják prioritásnak, ami önmagában nem feltétlenül jelent értéket.

Cloud & big data

A magyarokat egyelőre nem vette le a lábáról az előfizetéses e-kereskedelem

Ennek egyik oka az, hogy a magyar lakosság fele nem is hallott erről az itthon is egyre több szolgáltató által kínált modellről.
 
Mit tartogat a jövő ebben a rendkívül dinamikusan fejlődő környezetben?

a melléklet támogatója a Dynatrace

Hirdetés

Dynatrace: a modern obszervabilitás pole pozíciójában

Akár a Formula-1-es boxutcában, akár az üzleti életben dolgozunk, egy apró hiba könnyen vészhelyzetet idézhet elő. Szerencsére erre van megoldás, ugyanis a Dynatrace és a hasonló obszervabilitási platformok éppen azért jöttek létre, hogy megelőzzék ezeket a kritikus szituációkat.

EGY NAPBA SŰRÍTÜNK MINDENT, AMIT A PROJEKTMENEDZSMENTRŐL TUDNI KELL!

Ütős esettanulmányok AI-ról, agilitásról, hibrid működésről, elosztott csapatokról, kulturális gapek kezeléséről. Exkluzív információk képzésekről, munkaerőpiacról, kereseti és karrierlehetőségekről.

2025.03.18. Symbol Budapest

RÉSZLETEK »

Amióta a VMware a Broadcom tulajdonába került, sebesen követik egymást a szoftvercégnél a stratégiai jelentőségű változások. Mi vár az ügyfelekre? Vincze-Berecz Tibor szoftverlicenc-szakértő (IPR-Insights) írása.

Nyílt forráskód: valóban ingyenes, de használatának szigorú szabályai vannak

Különösen az early adopter vállalatoknak lehet hasznos. De különbözik ez bármiben az amúgy is megkerülhetetlen tervezéstől és pilottól?

Sok hazai cégnek kell szorosra zárni a kiberkaput

Ön sem informatikus, de munkája során az információtechnológia is gyakran befolyásolja döntéseit? Ön is informatikus, de pénzügyi és gazdasági szempontból kell igazolnia a projektek hasznosságát? Mi közérthető módon, üzleti szemmel dolgozzuk fel az infokommunikációs híreket, trendeket, megoldásokat. A Bitport tizennegyedik éve közvetít sikeresen az informatikai piac és a technológiát hasznosító döntéshozók között.
© 2010-2024 Bitport.hu Média Kft. Minden jog fenntartva.