A METR (Model Evaluation and Threat Research) egy tapasztalt fejlesztőkből álló csoporttal végzett vizsgálatokat egy népszerű MI-alapú asszisztens, a Cursor használatáról a számukra már ismerős nyílt forráskódú projektekben. A fejlett gépi tanuló modellekkel foglalkozó nonprofit szervezet ennek során úgy találta, hogy az új eszköz a közhiedelemmel ellentétben inkább csak lassította a szakemberek munkáját, amikor a jól ismert kódbázisokkal dolgoztak. Bár a lehetséges felhasználásokat ezzel közel sem fedték le, azt a tételt sikerült cáfolniuk, hogy a mesterséges intelligencia minden esetben sokkal termelékenyebbé tenné a humán mérnökök munkáját.

A dolog azért érdekes, mert a szoftverfejlesztést segítő mesterségesintelligencia-termékek éppen azzal vonzzák a befektetéseket, hogy általánosságban növelik a hatékonyságot. A Reuters beszámolója például olyan korábbi jelentéseket idéz, amelyek szerint az MI nem kevesebb mint 56 százalékkal gyorsíthatja a kódolást, a fejlesztők pedig átlagosan 26 százalékkal több feladatot tudtak elvégezni adott idő alatt. A METR tanulmányából azonban kiderül, hogy ez legalábbis nem minden forgatókönyvre igaz, a hivatkozott benchmarkoknál pedig – hasonóan más MI-alkalmazásokhoz – a referenciaértékek időnként nem megfelelően reprezentálják a valós feladatokat.

Aki benne van, az nem versenyezni akar

A mostani tanulmány alapján maguk a fejlesztők is azt jósolták feladatok megkezdése előtt, hogy a mesterséges intelligencia használata 24 százalékkal csökkenti majd a szükséges időt, és a vizsgálatok elvégzését követően is azt saccolták, hogy ilyenkor 20 százalékkal gyorsabban végeztek, mint ahogy az MI-asszisztens nélkül tehették volna. Ehhez képest a mesterséges intelligencia engedélyezése valójában 19 százalékkal növelte a ráfordított időt, vagyis lényegében lelassította a mérnökök munkáját, ami nyilvánvalóan ellentmondott a gazdasági szakértők és a gépi tanulással foglalkozó szakemberek rendre 39, illetve 38 százalékos előzetes becsléseinek is.

Még a tanulmány szerzői sem erre számítottak: vizsgálataik során arra jutottak, hogy a fejlesztőknek időt kellett szánniuk az MI-modellek által javasolt dolgok átnézésére és javítására. Ez utóbbi nem feltétlenül jelenti, hogy a mesterséges intelligencia hibás kimeneteket adott, egyszerűen csak nem pontosan azt hozta, amire a tapasztalt szakembereknek szükségük lett volna. A lassulás éppen ezért nem lenne érvényes a kezdő vagy az ismeretlen kódbázisokkal dolgozó mérnökök esetében, és az is lényeges, hogy a résztvevők többsége szerint az MI így is javítja a fejlesztési élményt – vagyis nem az az egyetlen céljuk, hogy minél gyorsabban végezzenek a feladatokkal.

Részletek a METR blogján »