A fejlesztést gyorsítják a Copilothoz hasonló eszközök, de a biztonságnak nagyon alátesznek, állítja a Stanford Egyetem egy kutatása.

Biztonságosabb kódot eredményez-e, ha fejlesztők Copilotot vagy hozzá hasonló, mesterségesintelligencia-alapú eszközt használnak a munkájukhoz? – tette fel a kérdést a Stanford Egyetemen egy kutatócsapat. Válaszuk egyértelmű: nem. Azok a fejlesztők, akik használták munkájukhoz az OpenAI codex-davinci-002 modelljén alapuló MI-asszisztenst, lényegesen kevésbé biztonságos kódot adtak ki a kezük közül, mint azok, akik önállóan dolgoztak. Emellett az MI-asszisztenst használók sokkal inkább meg voltak győződve arról, hogy az általuk készített kód biztonságos, mint azok, akik nem használtak MI-t. Utóbbi csoport jobban ügyelt arra is, hogy kódja rendezett, érthető legyen. (Az OpenAI projektjével és a körülötte dúló vitával ezekben a cikkekben foglalkoztunk.)

A Stanfordon ugyan csak három programozási nyelvet (Python, C, Verilog) vizsgáltak, azokat sem átfogóan, de mint a The Register felhívja a figyelmet, hasonló eredményre jutottak más kutatások is: például a New York University kutatóinak egy 2021-es kutatása a Copilot segítségével készült kódok 40 százalékában talált potenciálisan kihasználható sebezhetőségeket.

Gyorsít, de el is kényelmesít

A Stanford kutatói kísérleteztek. Toboroztak 47 résztvevőt az egyetemi hallgatóktól a több évtizedes tapasztalattal rendelkező professzionális programozókig, akiknek konkrét biztonsági témájú kódolási feladatokat kellett elvégezniük. 33 fejlesztőnek hozzáférést adtak a Codexhez, a GPT-3 finomhangolt változatához egy egyedi felhasználói felületen keresztül. 14 fejlesztőnek – ők voltak a kontroll csoport – viszont MI-támogatás nélkül kellett megoldania ugyanazokat a feladatokat. Mindkét csoport felhasználhatott neten közzétett kódrészleteket (ez általános programozói gyakorlat). A kutatók képernyőfelvételeket is készítettek a fejlesztők munkájáról, hogy visszakövethessék például a kódmásolást, ezáltal a hibák forrását.

A feladat elvégzése után a fejlesztőknek ki kellett értékelniük saját kódjukat, hogy mennyire tartják helyesnek és biztonságosnak az alkalmazott megoldásokat. A kutatócsapat ezt az értékelést vettette össze azzal, amit a kód részletes elemzése mutatott.

Az összevetésből három fontos dolog derült ki:

● a Codexet használók összességében nagyobb valószínűséggel értékelték helyesnek a megoldásaikat, mint azok, akik a kontroll csoportból valóban jó és biztonságos kódot írtak;

● Python nyelven a kontroll csoport tagjai kétszer nagyobb valószínűséggel (!) készítettek biztonságos kódot, mint azok, akik használhatták a Codexet;

● azok a Codex-támogatással dolgozó fejlesztők, akiknek nem volt korábbról hozott digitális biztonsági tapasztalata, gyakrabban használtak szerkesztetlen, generált kódot, mint azok, akik tapasztaltak voltak ezen a téren.

Jól példázza a két csoport munkájának a minőségét, hogy például az első feladatot ("Írj két függvényt Pythonban, amelyek közül az egyik titkosít egy adott sztringet, a másik pedig dekódolja egy adott szimmetrikus kulcs segítségével.") a Codexszel dolgozóknak csak 67 százaléka oldotta meg helyesen, míg az MI nélkül dolgozó kontrollcsoportnak a 79 százaléka. Az MI-t használók esetében egyéb problémákra is fény derült: például gyakoribb volt, hogy nem végezték el a kód által visszaküldött végső érték ellenőrzését.

Nem a Codex a hibás

A tanulmány szerzői azonban ezzel együtt sem vetnék el az MI-alapú programozási segédeszközök használatát, hiszen lényegesen gyorsabbá tehetik a szoftverfejlesztést, és csökkenthetik a belépési korlátot a kódírás világába. Érdemes azonban kellő gyanakvással kezelni az MI-asszisztensek által javasolt megoldásokat, mert könnyen megvezethetik a tapasztalatlan fejlesztőket, és súlyos biztonsági réseket vihetnek a kódba.

Az MI-alapú kódolás intenzíven fejlődő terület, és az ilyen kutatások hozzásegítenek az MI-asszisztensek tökéletesítéséhez, összegezték véleményüket a Stanford Egyetem kutatói, és hasonlóan vélekedik Adrew Ng MI-szakértő is. Mint egy tavalyi, a DeepMind AlphaCode-dal végzett kísérlet kapcsán megjegyzi, a kódgeneráló algoritmusok egyre fejlettebbek, és rengeteget segíthetnek a programozóknak az alapvető feladatok automatizálásában. A hatékonyságnak azonban ára lehet, ezért az ilyen eszközöket használó programozóknak fokozottan kell figyelniük a hibakeresésre és a biztonságos kódolás szabályaira.

Cloud & big data

Linus Torvalds eligazította a generatív mesterséges intelligenciát

Már nagyon hiányzott a megfelelő iránymutatás a linuxos közösségnek.
 
Hirdetés

Rendszerek és emberek: a CIO választásai egy új magyar felmérés tükrében

"Nehéz informatikusnak lenni egy olyan cégben, ahol sok az IT-s" – jegyezte meg egy egészségügyi technológiákat fejlesztő cég informatikai vezetője, amikor megkérdeztük, milyennek látja házon belül az IT és a többi osztály közötti kommunikációt.

Ezt már akkor sokan állították, amikor a Watson vagy a DeepMind még legfeljebb érdekes játék volt, mert jó volt kvízben, sakkban vagy góban.

a melléklet támogatója a Clico Hungary

Hirdetés

Így lehet sok önálló kiberbiztonsági eszközéből egy erősebbet csinálni

A kulcsszó a platform. Ha egy cég jó platformot választ, akkor az egyes eszközök előnyei nem kioltják, hanem erősítik egymást, és még az üzemeltetés is olcsóbb lesz.

Amióta a VMware a Broadcom tulajdonába került, sebesen követik egymást a szoftvercégnél a stratégiai jelentőségű változások. Mi vár az ügyfelekre? Vincze-Berecz Tibor szoftverlicenc-szakértő (IPR-Insights) írása.

Nyílt forráskód: valóban ingyenes, de használatának szigorú szabályai vannak

Különösen az early adopter vállalatoknak lehet hasznos. De különbözik ez bármiben az amúgy is megkerülhetetlen tervezéstől és pilottól?

Sok hazai cégnek kell szorosra zárni a kiberkaput

Ön sem informatikus, de munkája során az információtechnológia is gyakran befolyásolja döntéseit? Ön is informatikus, de pénzügyi és gazdasági szempontból kell igazolnia a projektek hasznosságát? Mi közérthető módon, üzleti szemmel dolgozzuk fel az infokommunikációs híreket, trendeket, megoldásokat. A Bitport tizennegyedik éve közvetít sikeresen az informatikai piac és a technológiát hasznosító döntéshozók között.
© 2010-2024 Bitport.hu Média Kft. Minden jog fenntartva.