A SportsBettingDime oldal tesztjében az OpenAI tavaly bemutatott nyelvfeldolgozó algoritmusát, a GPT-3-at használták fel. A sok érdekes lehetőséggel kecsegtető mélytanuló rendszerrel nemcsak minden korábbinál értelmesebb és koherensebb szövegeket lehet létrehozni, hanem például programkódokat is. Írattak vele már több blogposztot az Y Combinator Hacker News nevű hírmegosztó oldalán és cikket a The Guardianben.

Hajrá, kódsorok!

Ezúttal azonban azt szerették volna megtudni, hogy az algoritmus képes-e olyan szövegeket alkotni, amelyekkel akár egy hivatásos klub profi edzőjének iránymutatásai is kiválthatók lennének. A GPT-3 ennek megfelelően nekiállt és motivációs beszédeket, meccs közbeni tanácsokat, csapatépítést segítő szövegeket kalapált.

Amint ezek elkészültek, a sportfogadási oldal fekete öves szurkolókat kérdezett, akik a profi kosárlabda, illetve amerikai futball területén abszolút szakértőként funkcionálnak. Feladatuk az volt, hogy öt különböző szöveg esetében értékeljék, hogy mennyire sikerült a mondatokkal érzelmeket ébreszteni, motiválni. A tesztben két emberi és három mesterséges alkotást válogattak egymás mellé.

Meglepő, vagy talán már nem is annyira meglepő módon az algoritmus két verziója kapta átlagosan a legjobb osztályzatokat. Azaz ebben a mérsékelten tudományos tesztkörnyezetben sikerült a profi edzőket lepipáló eredményt hozni. Érdemes azonban azt is megemlíteni, hogy a GPT-3 harmadik alkotása kapta messze a leggyengébb pontokat, ami a rendszer inkonzisztenciáját mutatja.

Ember meg nem mondja

A tesztbe bevont önkénteseknek a minőség értékelése mellett azt is el kellett dönteniük, hogy az egyes szövegek szerintük géptől vagy embertől származnak-e. Itt az derült ki, hogy az algoritmusnak még azért van mit fejlődnie. A válaszadók a két igazi edző mondását 77, illetve 66 százalékban gondolták emberinek, miközben a GPT-3 legjobb eredménye szintén 66 százalék körül alakult, a legrosszabb viszont már "csak" 51 százalékot ért el. A csak azért került idézőjelek közé, mert a gép teljesítménye így is megsüvegelendő, hiszen egy meglehetősen összetett, érzelmekkel átfűtött beszédet kellett alkotni. Az ilyesmivel pedig rendszerint nehezen tud mit kezdeni a gépi kód.

A kutatás utolsó részletét a kitalált játékbeli szituációkra adott MI-válaszok értékelése adta. Ezek szinte mindegyikére jellemző volt, hogy a válaszadókat teljesen megosztották a gép előadott taktikai húzásai, ami azt is jelezheti, hogy ebben egyelőre nem tart megfelelő fokon az algoritmus. Ugyanakkor az MI kódlétéből fakadó hátránya bizonyos szituációkban akár előnnyé is válhat: ha rövid időn belül kell határozott döntést hozni, arra az érzelmektől nem befolyásolt algoritmus bevethető lehet, hiszen képes a valódi edzőnek a másodperc törtrésze alatt felkínálni a szerinte optimális játékot. Ettől függetlenül még jó pár évig biztosan nem kell attól tartani, hogy valamelyik profi csapat gépesítené az edzői pozícióját.