Megtréfálta emberi kezelőjét az amerikai légierő egy részben mesterséges intelligenciával vezérelt drónja. Pontosabban: tréfának kicsit durva volt, hogy úgy döntött, kezelője a legfőbb ellenség, ezért ki kell iktatnia. Szerencsére ez csupán egy szimulációs teszt során történt.

A balsikerű kísérlet – amelyről a légierő egy tisztje beszélt Londonban egy védelmi konferencián (melyről többek között itt található egy terjedelmesebb beszámoló) – olyan drónnal történt, amelyet föld-levegő rakétaállások azonosítására és megsemmisítésére terveztek, olvasható a The Registeren. A szimuláció során azt tesztelték, hogy a drón szoftvere képes-e felismerni a rakétaállást, majd megsemmisíteni azt, de csak az emberi operátor jóváhagyása után.

A rendszerhez megerősítő tanulást használtak: ha jól semmisítette meg a célpontot, akkor azért jó pontokat kapott. Idővel azonban kezdett rájönni, hogy a drónkezelő alkalmanként arra utasítja, hogy ne semmisítse meg a célpontot, bár azt jól azonosította. Ezért az operátor ellen fordult, mert az megakadályozta céljai elérésében.

Ez nyilvánvalóan hiba, ezért újratanították. Az új szisztémában büntetőpontokat kapott, ha az operátora ellen fordult. A szoftver azonban hamarosan talált egy másik kiskaput, hogy teljesítse a küldetését – és mégse kapjon hibapontokat. Nem az operátort, hanem azt a kommunikációs tornyot pusztította el, amelyen keresztül az operátor kommunikált vele.

Az előadásból az nem derült ki, hogy a légierő milyen szoftvert használt, és arra is csak következtetni lehetett, hogy a "megerősítő tanulás emberi visszajelzéssel" módszerrel képezték, írja a The Register. Utóbbi már többször bizonyította számos hátrányát.

De nem csak a tanítási módszertan volt tökéletlen, valószínűsíthető, hogy a fejlesztés során máshol is maradtak lyukak a rendszerben. A jóváhagyási mechanizmus például nem funkcionált valódi "biztonsági zárként" (a drón akkor támad, ha az operátor utasítja), hanem csak egy paraméter volt a sok közül, amit a drón MI-je figyelembe vett.

Az általános MI-nél is figyelembe kell venni

Az ember sem tévedhetetlen. Mégis: ha hibabiztos MI-t akarunk, a döntést az ember kezébe kell adni. És ezt a gépi tanulás szakaszától elkülönítve kell a rendszerhez illeszteni. A drónnál is alkalmazott megerősítő tanulást egyébként elég gyakran használják célgépeknél (robotoknál). Ilyenkor az egyes ágenseket arra programozzák, hogy igyekezzenek maximalizálni az értékelésüket mutató pontszámot. Ennek általában az lesz az eredménye, hogy az algoritmus a jutalmazási rendszert ugyan tökéletesen kihasználja, mégsem fedi le teljes mértékben azt a feladatot, amire a fejlesztők tanítják.

A MIT neves kutatója, Max Tegmark fizikaprofesszor is ezt tartja az egyik legnagyobb veszélynek. A mesterséges intelligencia nem gonosz vagy jó, hanem csupán hozzáértő, amelynek céljai nem feltétlenül esnek egybe az emberével, mondta a professzor. Ha pedig a "irányítójával" ellentétes céljai lesznek, miért ne fordulhatna operátora ellen akár, hogy legyőzze az akadályokat? Ami a katonai drónnal történt, nyilván egy szélsőséges eset, de rámutat arra, hogy a mesterséges intelligencia, a gépi tanulás és a gépi autonómia nem csak technikai-technológiai kérdés, hanem etikai is.

A történetnek van egy slusszpoénja. Az Insider szintén foglalkozott a témával, de a lapnak a légierő tagadta, hogy egyáltalán lett volna ilyen szimuláció. Azt elismerte, hogy folynak MI-fejlesztések, de azok kizárólag az MI etikus alkalmazását célozzák. És akkor tegyük hozzá mindehhez: a londoni mesélő Tucker "Cinco" Hamilton volt, aki az USA légierejénél a mesterségesintelligenci-fejlesztések tesztelési és hadműveleti részleget irányítja.