Miközben a nemzetek, a nemzetközi közösség és maguk a fegyvergyártók is több-kevesebb lelkesedéssel munkálkodnak az autonóm fegyverekre vonatkozó szabályok kidolgozásán, elengedhetetlen volna az adathibákból eredő kockázatok őszinte feltárása is, ha azt akarjuk, hogy az ilyen gépek felhasználásának veszélyei tényleg a szabályozástól elvárt szint alatt maradjanak – derül ki az ENSZ leszereléssel foglalkozó kutatóintézetének (UNIDIR) nemrégiben közzétett jelentéséből.

A tanulmány abban segítene a politikai döntéshozóknak, hogy jobban megértsék az autonóm gépekben rejlő kockázatokat, az adatfeldolgozási hibáktól kezdve egészen annak a lehetőségéig, amikor az ellenséges erők aktívan belepiszkálnak az adatgyűjtésbe. Az egyik legfontosabb bizonytalansági tényező ugyanis az lenne a hasonló felhasználásokban, hogy a harctéren összegyűjtött és felhasznált adatok sokkal kevésbé rendezettek, mint a laboratóriumi tesztek során alkalmazott minták, ez pedig értelemszerűen komoly hatással lesz a gépek működésére.

A dokumentumban minderre életszerű és aggasztó forgatókönyveket hoznak fel példaként. Lehet, hogy a robot kamerarendszere, amelyet a sivatagi lőtéren tanítottak be, félreértelmezi a fényszórók tükröződését egy ködös reggelen. Lehet, hogy a robot tűzvezérlő rendszere rosszul kalibrálja a távolságot, és egy ellenséges jármű helyett egy játszótéri bútort vesz célba. Ugyanott egy autonóm felderítőt, amely a közeli mobiltornyon keresztül olvassa a helyadatokat, szándékosan hamis információval lát el az ellenfél, és az rossz utcát jelöl meg biztonságos útvonalként a katonák számára.

A sort még hosszasen lehetne folytatni, de a lényeg, hogy az autonóm gépek csak azért lehetnek önállóak, mert adatokat gyűjtenek a környezetükből, és azok alapján cselekszenek. A tesztkörnyezetekben ezek az adatok általában relevánsak, teljesek, pontosak és jó minőségűek, de a konfliktuszónákban sokkal dinamikusabbak és sokkal ellentmondásosabbak lehetnek, így a valós harctéri adatok összehasonlíthatatlanul nagyobb változékonyságot mutatnak az autonóm fegyverrendszerek fejlesztésére és ellenőrzésére használt, korlátozott adatmintáknál.

Ez biztosan nem bomba, rá is van írva

A jelentést szemléző Popular Science erre is felhoz egy jó példát. A lap egy tavaly októberi bemutatót idéz fel, amelynek során egy katonai kamerarendszer, illetve a szenzoradatokat feldolgozó program demonstrálta volna a katonai és polgári járművek megkülönböztetését, de közben kiderült, hogy ugyanez a rendszer nem mindig tudta megkülönböztetni egymástól a parkolóban sétáló embereket és a fákat. Könnyű belátni, hogy ha a robotok emberek helyett fákra lövöldöznek, az katonai szempontból csökkenti a hatékonyságukat, az pedig még rosszabb, ha más célpontok helyett támadnak rá az emberekre.

Ugyanígy számos kérdést vet fel, amikor a robotokat hamis vagy félrevezető adatokkal próbálják meg átverni. Ez a "spoofingnak" is nevezett technika a békésebb összefüggésekben már egyáltalán nem számít újdonságnak, és sokszor nem is igazán függ az ellenség technológiai képességeitől: a mai napig sokszor idézik azt a kíséretet, amikor egy 35 mérföld per órás sebességkorlátozó táblát pár darab ragasztószalaggal átpofoztak 85 mérföld per órára, és ezzel sikerült rávenni egy önvezető módban haladó Teslát, hogy tényleg egészen addig gyorsuljon fel.

Egy másik kísérlet során egy tárgyfelismerő algoritmust csaptak be mindössze annyival, hogy a rendszer által 85,6 százalékos hatékonysággal felismert Granny Smith almára rátűztek egy cetlire írt "iPod" feliratot, onnantól pedig a program 99 százalékos eséllyel azonosította iPodként az almát. Innentől kezdve érdekes kérdés, hogy a háborúban a robbanószerek eltávolítását végző autonóm robotok mit szólnak majd, ha valaki mondjuk "focilabda" feliratú cetliket ragaszt a bombákra.

Az UNIDIR mindezek kapcsán megállapítja, hogy a folyamatok során bárhol, vagyis az adatgyűjtéstől az értelmezésen át az emberekkel való információközlésig bekövetkező hibák dominóhatáshoz vezethetnek, amelynek a vége a nem tervezett károkozás lesz. Az utóbbi, vagyis az emberekkel való információközlés egyébként nagyon lényeges, bár a téma kapcsán keveset tárgyalt szempont. Abban megegyezhetünk, hogy a robot ne hozzon önálló döntéseket az életek kioltására, de a végeredmény ugyanaz lesz, ha a rossz minőségű adatok vagy a spoofing eredményeként a rendszer helytelenül minősít civilektől mentesnek egy adott területet, amelyet a katonák erre alapozva megtámadnak.

A tévedéseket lehetetlen időben kiszűrni

Egy éles helyzetben, amikor pillanatok alatt kell dönteni, nyilván nem lesz idő a rendszer auditálására sem, így a katonák is csak akkor jöhetnek rá az autonóm rendszer tévedésére, amikor befejezték a lövöldözést. Az UNIDIR szerint mindenképpen meg kell vizsgálni, hogy a gépek hogyan tudnak hibákat (és főleg váratlan hibákat) előidézni, mert a gépekre támaszkodó emberek minden bizonnyal azt feltételezik, hogy az onnan érkező információ pontos, rádásul a helyszínen nem is igazán lehet azonmód felismerni, ha az autonóm gép rosszul döntött.

Az UNIDIR anyaga a mélytanuló algoritmusokat fekete doboznak nevezi, amennyiben a mesterséges intelligencia sokszor bűvészkedik sikeresen a valószínűségekkel, de olyankor sem mindig világos, hogy pontosan mit csinál. Úgy pedig az embereknek (ebben az esetben a katonáknak) sincs semmi esélyük a gépi döntések érdemi felülbírálatára, ha nincsenek vele tisztában, hogy azok a döntések pontosan hogyan születtek. A dolog még érdekesebb, hogy a katonákat nem menti fel a nemzetközi jogi kötelezettségek alól, ha jóhiszeműen követik a gépi intelligencia utasításait.

A Popular Science itt a tanulmány szerzőjét is idézi, aki szerint az ördög a technikai részletekben van: odáig oké, hogy az autonóm fegyverek akcióihoz mindig hozzá kell rendelni emberi felelősöket is, de ez az elszámoltathatóság komolytalanná válik, ha az összetett algoritmusokra épülő architektúráknak ismeretlen, sőt teszteléssel nem is azonosítható hibapontjai vannak.

A teljesen autonóm fegyverek egyik lehetséges felhasználási módja így csak más gépek, például pilóta nélküli drónok megcélzása lehetne, szemben az emberekkel vagy az embereket szállító járművekkel. De a gyakorlatban akkor is az a legfontosabb kérdés, hogy a fegyver hogyan gyűjti, értelmezi és használja fel a környezeti adatokat: ha ezek nem relevánsak vagy hiányosak, és a rendszer mondjuk a fent említett módon összekeveri a fákat az emberekkel, akkor az elvi szabályozással együtt is ott vagyunk, ahol a part szakad.