Ahogy tavaly év végén széles körben elérhetővé vált az OpenAI ChatGPT-je, szinte azonnal feltűntek az első példák arra, milyen módokon lehet az emberi nyelvezethez hasonlatos szövegeket pillanatok alatt elkészítő algoritmust nemtelen célokra használni. Az egyik leginkább érintett terület az oktatás és a tudományos világ volt. New Yorkban például már idén januárban kitiltották a ChatGPT-t, több nagy tudományos kiadó pedig szabályzatának módosításával igyekezett visszagyömöszölni a szellemet a palackba.

Ahogy azonban a generatív MI fejlődik, úgy válik egyre nehezebbé a gép által készített szövegek felismerése, a jelenleg elérhető detektáló szoftverek pedig nem képesek nagy pontossággal dolgozni. Szerencsére a mesterséges intelligencia a másik oldalon is bevethető, amire egy frissen publikált kutatási projekt szolgál bizonyítékkal.  

A Kansasi Egyetem munkatársai a tudományos folyóíratokban megjelenő publikációkra fókuszálva igyekeztek olyan rendszert alkotni, amely megbízható módon szűri ki az algoritmus kreálta tartalmakat. A kutatást vezető Heather Desaire professzor szerint a generatív MI által írt szövegek (egyelőre) több olyan sajátossággal rendelkeznek, amelyek mentén el lehet választani a búzát a pelyvától. Megjelenésük a tudományos szcénában ugyanakkor konkrét veszélyeket hordoz, mivel a sok forrásból összetákolt anyagoknál kimarad az ellenőrzési lépés, azaz könnyen bekerülhet téves, pontatlan vagy tudományosan nem igazolt megállapítás.

Tüzet oltanak tűzzel

A kutatócsapat az értékelést végző algoritmus betanításához első körben kiválasztott 64 számos tudományágból származó, valódi emberek által írt publikációt. Ezekből kiindulva aztán megkérték a ChatGPT-t, hogy generáljon ugyanezeket a kutatásokat leíró anyagokat, amiből végül 128 darab hamis cikk kerekedett. Ezután a szakemberek a saját algoritmusuk teszteléséhez további két adathalmazt állítottak össze, amelyek mindegyike 30 valódi publikációt és 60 ChatGPT által írt cikket tartalmazott.

Az első eredmények rögtön látványos sikert hoztak. Az osztályozást végző MI az esetek 100 százalékában képes volt megkülönböztetni az emberektől származó valódi tudományos írásokat az AI által generált cikkektől. Ha csak egy-egy bekezdést kapott feladatul a program, akkor a pontosságá némileg csökkent, de még így is 92 százalékos hatékonysággal volt képes felismerni a gépi alkotásokat.

A jó eredményeket a kutatók annak tulajdonítják, hogy rendszerük nagy figyelmet fordít a tudományos élet képviselőire jellemző stílusjegyekre. A tudósok jellemzően gazdagabb szókinccsel rendelkező, hosszabb és változatosabb szavakat tartalmazó bekezdéseket írnak, mint amire a ChatGPT képes. Az is árulkodó, hogy emberek a gépnél sokkal gyakrabban használnak írásjeleket (kérdőjeleket, zárójeleket, pontosvesszőket). Az algoritmus hajlamos a slendriánságra is: nem ad háttérinformációt a közölt számokról, továbbá az emberekhez képest sokkal ritkábban említi más tudósok nevét.

Azt ugyanakkor a kutatás vezetője is elismerte, hogy most publikált eredményeik csak egy proof-of-concept tanulmánynak tekinthetők, mivel a munka hatóköre korlátozott volt, és további vizsgálatokra van szükség ahhoz, hogy kikristályosodjon, mennyire használható mindez a gyakorlatban is.