Ahogy tavaly év végén széles körben elérhetővé vált az OpenAI ChatGPT-je, szinte azonnal feltűntek az első példák arra, milyen módokon lehet az emberi nyelvezethez hasonlatos szövegeket pillanatok alatt elkészítő algoritmust nemtelen célokra használni. Az egyik leginkább érintett terület az oktatás és a tudományos világ volt. New Yorkban például már idén januárban kitiltották a ChatGPT-t, több nagy tudományos kiadó pedig szabályzatának módosításával igyekezett visszagyömöszölni a szellemet a palackba.

A fentiek miatt hatalmas érdeklődés kezd kialakulni azok iránt a megoldások iránt, amelyeket kifejezetten a gép által készített szövegek felismerésére fejlesztettek. Gond azonban, hogy a jelenleg elérhető GPT-detektáló szoftverek finoman szólva sem képesek hozni az elvárható pontosság szintjét. Mindezt egy nemrégiben nyilvánosságra hozott tudományos kutatási anyag is alátámasztja.

A detektoroknak ez teljesen kínai

A projekt keretében hét, általánosan elterjedt GPT-detektor teljesítményét tesztelték. A próbára tett megoldásoknak két igen különböző forrásból származó csomagot kellett ellenőrizni. Az egyikben 91, kínai anyanyelvűek által írt, nyelvvizsgához szükséges angol esszék szerepeltek, míg a másik adagban 88 olyan fogalmazás volt, amelyeket amerikai nyolcadik osztályosok készítettek.

Az eredmények hatalmas különbségeket mutattak. Az amerikai diákok anyagait minden szoftver hiba nélkül azonosította emberinek, ám a nem angol anyanyelvű (de amúgy nem helytelen, vagy értelmetlen) fogalmazások esetében átlagosan 61 százalékban adtak fals riasztást, azaz értékelték gépi alkotásnak az adott művet. A legrosszabbul teljesítő szoftver egészen arcpirító, 97,8 százalékos hibaszázalékkal kategorizált.

A másik irányból sem ment flottul

A kutatók megnézték azt is, hogy boldogulnak a valóban algoritmusokkal generált szövegek felismerésével a GPT-detektorok. A ChatGPT-vel készített esszéket első körben egészen tűrhető 70 százalék körüli pontossággal szúrták ki az ellenőrző alkalmazások. Probléma viszont, hogy mindez nagyon könnyen lerontható, amennyiben a megfelelő utasításokkal látják el a generatív MI-t.

Például ha az első körben készített szöveget visszaadták a ChatGPT-nek azzal, hogy emelje annak színvonlát "irodalmi nyelvezet alkalmazásával", a detektálási pontosság 3 százalékra zuhant, azaz a detektorok az esetek 97 százalékában arra a téves következtetésre jutottak, hogy az esszéket emberek írták.

Csúnyán diszkriminál

A Stanford Egyetem kutatásvezetője a fentiek miatt leginkább azt tudja tanácsolni, hogy a lehető legnagyobb óvatossággal kezeljük ezeket a programokat. A legjobbat pedig azzal tesszük, ha egyáltalán nem használjuk a detektorokat.

Mindez különösen fontos tanács lehet olyan területeken, ahol ugyanazért a dologért versengenek angol anyanyelvű és külföldi személyek. Egy álláspályázat esetén például a pozíciót meghirdető szervezet és a "csalás miatt" hibásan kiszűrt nem angol anyanyelvű pályázó számára is negatív hatással járna az automatikus detektoroknál kimutatható diszkrimináció.

Ráadásul a GPT-detektorok fentebb kimutatott tökéletlensége paradox módon éppen arra kényszerítheti a hátrányba kerülőket, hogy a generatív MI bevetésével tegyék cizelláltabbá írásaikat. Utóbbi ugyanis a jelek szerint egyelőre bőségesen elegendő ahhoz, hogy átmenjen a szöveg a szoftveres ellenőrzésen.