A Nature Medicine a héten jelentette meg annak a kutatásnak az eredményeit, amelyben a New York University és a NYU Langone Health szakembereiből álló csapat az MI algoritmusokat alkalmazó elektrokardiográfiás eszközök kitettségét kutatta az adatok manipulációjára épülő támadásokkal szemben. Az anyagban kifejtik, hogyan fejlesztettek ki egy módszert az ilyen jellegű beavatkozásokhoz, és ez mennyire volt sikeres az általuk tesztelt eszközökön.

A mélytanuló rendszerek számos alkalmazása közül az egészségügy számít az egyik legjobban menő területnek, ezen belül pedig sorra jelennek meg a diagnosztikai megoldások, így az elektromos jelek alapján a szív működését elemző eszközök is. Ezek mögött olyan mélytanuló rendszerek dolgoznak, amelyeket az abnormális jelenségek kiszűrésére fejlesztettek és tanítanak be, a technológiák pedig már egy csomó konzumer eszközben, például az okosórákban is megjelentek.

Nekik feltűnik, nekünk nem

A mostani kutatás tulajdonképpen azt demonstrálja, hogy ezeket az eszközöket, illetve az általuk megjelenített kimeneti eredményeket mennyire befolyásolhatja a rosszindulatú beavatkozás. Először egy több mint 8500 EKG-felvételből álló adatkészlethez nyúltak, amelyben összesen négy csoportba (normál, pitvari fibrilláció, egyéb, zaj) sorolt minták voltak. A kutatók az adatok 90 százalékát használták a rendszerek betanítására, a maradék 10 százalékot pedig a tesztelésre.

A nyers adatokból vett mintákat aztán egészen kis mértékben módosították, hogy a perturbáció mértéke az emberi megfigyelők számára teljesen észrevétlen maradjon. A gép innentől kezdve majdnem az esetek háromnegyed részében rosszul azonosította a korábban jól értelmezett jeleket; ehhez képest az a két klinikai orvost, akinek ugyanez volt a feladata a kísérletek során, nagyjából minden hatvankettedik esetben zavarta össze az eredeti felvételekhez adott zaj.

forrás: Nature Medicine

A kutatás természetesen nem csak a szándékos károkozás veszélyeire figyelmeztet, bár az ennyire kritikus alkalmazásoknál ezeket sem érdemes figyelmen kívül hagyni. Elég azonban arra gondolni, hogy az EKG felvételek interpretációjával dolgozó eszközöket mennyire zavarhatja össze bármilyen környezeti zaj, illetve hogy az implementációk során ezeket mennyire veszik számításba. A manipuláció egyébként minden irányba működhet, akár úgy is, hogy valaki a valósnál kedvezőbb eredményeket próbál összehozni mondjuk egy biztosítási ügy vagy klinikai vizsgálat során.

A kutatók a The Register kérdésére elmondták, hogy nem a gépi tanuló algoritmusok hasznosságát próbálták megkérdőjelezni az EKG-k elemzésében, hanem arra próbálták felhívni a figyelmet, hogy a jelenlegi körülmények között még nem feltétlenül jó ötlet kizárólag a gépi diagnózisokra támaszkodni az emberi specialisták ellenőrzése nélkül. A gépi tanuló rendszerek különböző környezetekbe való gyakorlati telepítése során minél több figyelmet kell fordítani a megbízható és biztonságos működésre, különös tekintettel a betanításhoz felhasznált adatkészletek gondozására és az elvárt teljesítményt biztosító garanciákra.