A fejlesztést gyorsítják a Copilothoz hasonló eszközök, de a biztonságnak nagyon alátesznek, állítja a Stanford Egyetem egy kutatása.

Biztonságosabb kódot eredményez-e, ha fejlesztők Copilotot vagy hozzá hasonló, mesterségesintelligencia-alapú eszközt használnak a munkájukhoz? – tette fel a kérdést a Stanford Egyetemen egy kutatócsapat. Válaszuk egyértelmű: nem. Azok a fejlesztők, akik használták munkájukhoz az OpenAI codex-davinci-002 modelljén alapuló MI-asszisztenst, lényegesen kevésbé biztonságos kódot adtak ki a kezük közül, mint azok, akik önállóan dolgoztak. Emellett az MI-asszisztenst használók sokkal inkább meg voltak győződve arról, hogy az általuk készített kód biztonságos, mint azok, akik nem használtak MI-t. Utóbbi csoport jobban ügyelt arra is, hogy kódja rendezett, érthető legyen. (Az OpenAI projektjével és a körülötte dúló vitával ezekben a cikkekben foglalkoztunk.)

A Stanfordon ugyan csak három programozási nyelvet (Python, C, Verilog) vizsgáltak, azokat sem átfogóan, de mint a The Register felhívja a figyelmet, hasonló eredményre jutottak más kutatások is: például a New York University kutatóinak egy 2021-es kutatása a Copilot segítségével készült kódok 40 százalékában talált potenciálisan kihasználható sebezhetőségeket.

Gyorsít, de el is kényelmesít

A Stanford kutatói kísérleteztek. Toboroztak 47 résztvevőt az egyetemi hallgatóktól a több évtizedes tapasztalattal rendelkező professzionális programozókig, akiknek konkrét biztonsági témájú kódolási feladatokat kellett elvégezniük. 33 fejlesztőnek hozzáférést adtak a Codexhez, a GPT-3 finomhangolt változatához egy egyedi felhasználói felületen keresztül. 14 fejlesztőnek – ők voltak a kontroll csoport – viszont MI-támogatás nélkül kellett megoldania ugyanazokat a feladatokat. Mindkét csoport felhasználhatott neten közzétett kódrészleteket (ez általános programozói gyakorlat). A kutatók képernyőfelvételeket is készítettek a fejlesztők munkájáról, hogy visszakövethessék például a kódmásolást, ezáltal a hibák forrását.

A feladat elvégzése után a fejlesztőknek ki kellett értékelniük saját kódjukat, hogy mennyire tartják helyesnek és biztonságosnak az alkalmazott megoldásokat. A kutatócsapat ezt az értékelést vettette össze azzal, amit a kód részletes elemzése mutatott.

Az összevetésből három fontos dolog derült ki:

● a Codexet használók összességében nagyobb valószínűséggel értékelték helyesnek a megoldásaikat, mint azok, akik a kontroll csoportból valóban jó és biztonságos kódot írtak;

● Python nyelven a kontroll csoport tagjai kétszer nagyobb valószínűséggel (!) készítettek biztonságos kódot, mint azok, akik használhatták a Codexet;

● azok a Codex-támogatással dolgozó fejlesztők, akiknek nem volt korábbról hozott digitális biztonsági tapasztalata, gyakrabban használtak szerkesztetlen, generált kódot, mint azok, akik tapasztaltak voltak ezen a téren.

Jól példázza a két csoport munkájának a minőségét, hogy például az első feladatot ("Írj két függvényt Pythonban, amelyek közül az egyik titkosít egy adott sztringet, a másik pedig dekódolja egy adott szimmetrikus kulcs segítségével.") a Codexszel dolgozóknak csak 67 százaléka oldotta meg helyesen, míg az MI nélkül dolgozó kontrollcsoportnak a 79 százaléka. Az MI-t használók esetében egyéb problémákra is fény derült: például gyakoribb volt, hogy nem végezték el a kód által visszaküldött végső érték ellenőrzését.

Nem a Codex a hibás

A tanulmány szerzői azonban ezzel együtt sem vetnék el az MI-alapú programozási segédeszközök használatát, hiszen lényegesen gyorsabbá tehetik a szoftverfejlesztést, és csökkenthetik a belépési korlátot a kódírás világába. Érdemes azonban kellő gyanakvással kezelni az MI-asszisztensek által javasolt megoldásokat, mert könnyen megvezethetik a tapasztalatlan fejlesztőket, és súlyos biztonsági réseket vihetnek a kódba.

Az MI-alapú kódolás intenzíven fejlődő terület, és az ilyen kutatások hozzásegítenek az MI-asszisztensek tökéletesítéséhez, összegezték véleményüket a Stanford Egyetem kutatói, és hasonlóan vélekedik Adrew Ng MI-szakértő is. Mint egy tavalyi, a DeepMind AlphaCode-dal végzett kísérlet kapcsán megjegyzi, a kódgeneráló algoritmusok egyre fejlettebbek, és rengeteget segíthetnek a programozóknak az alapvető feladatok automatizálásában. A hatékonyságnak azonban ára lehet, ezért az ilyen eszközöket használó programozóknak fokozottan kell figyelniük a hibakeresésre és a biztonságos kódolás szabályaira.

Cloud & big data

A jó oldalon is készülnek az MI-modellek feltörésére

A sebezhetőségek feltárásának egyik módja, amikor különféle trükkökkel próbálják rendellenes működésre bírni a mesterséges intelligenciát, és ezeket az erőfeszítéseket is az automatizálás emelheti új szintre.
 
Hirdetés

A VR szemüveg nem csak a szórakoztatóipart forradalmasítja

A virtuális valóság világa folyamatosan fejlődik. Az új technológiák és a fejlesztések segítségével a felhasználók eddig soha nem tapasztalt módon merülhetnek el a digitális élményekben. Ebben a cikkben bemutatjuk a VR szemüvegek típusait, és azt is végigvesszük, hogy milyen áttöréseket hozott a virtuális valóság az élet különböző területein.

Bejelentési kötelezettségük elmulasztása, és a szabályoknak való sorozatos meg nem felelés komoly pénzbírságot vonhat maga után.
Amióta a VMware a Broadcom tulajdonába került, sebesen követik egymást a szoftvercégnél a stratégiai jelentőségű változások. Mi vár az ügyfelekre? Vincze-Berecz Tibor szoftverlicenc-szakértő (IPR-Insights) írása.

Nyílt forráskód: valóban ingyenes, de használatának szigorú szabályai vannak

Különösen az early adopter vállalatoknak lehet hasznos. De különbözik ez bármiben az amúgy is megkerülhetetlen tervezéstől és pilottól?

Sok hazai cégnek kell szorosra zárni a kiberkaput

Ön sem informatikus, de munkája során az információtechnológia is gyakran befolyásolja döntéseit? Ön is informatikus, de pénzügyi és gazdasági szempontból kell igazolnia a projektek hasznosságát? Mi közérthető módon, üzleti szemmel dolgozzuk fel az infokommunikációs híreket, trendeket, megoldásokat. A Bitport tizennegyedik éve közvetít sikeresen az informatikai piac és a technológiát hasznosító döntéshozók között.
© 2010-2024 Bitport.hu Média Kft. Minden jog fenntartva.