Amerikai tudósok egy csoportja arra volt kíváncsi, hogy miként állják meg a helyüket azok a gépi kódok, amelyek sikeresen teljesítették a klinikai bevetéshez szükséges előzetes vizsgálatokat. Megállapításuk szerint ezek többségével komoly gondok vannak.

Nem látják a fától az erdőt?

A University of Washington School of Medicine munkatársai által vezetett kutatócsoport a szemben cukorbetegség miatt bekövetkező elváltozásokat figyelő algoritmusokat teszteltek. Az öt fejlesztőtől származó összesen hét különböző, mesterséges intelligenciára (MI) támaszkodó szoftver mindegyike megkapta már az éles bevetéshez szükséges hatósági jóváhagyást, így azokat már használhatják gyógyászati célra.

Munkájukat a Diabetes Care szaklapban megjelent tanulmányban foglalták össze. Az eredmények alapján a szakemberek arra jutottak, hogy több alkalmazással is komoly konzisztenciaproblémák vannak. A csapat egy több mint 310 ezer fotóból álló készleten tesztelte az automata felismerésre fejlesztett programokat, amelyek közel 24 ezer Seattle és Atlanta városában kezelt betegtől származtak.

A valódi szakemberek teljesítményével összehasonlítva, az algoritmusok meglehetősen gyengén vizsgáztak. A hétből mindössze három tudott elfogadható pontosságot felmutatni, közülük is mindössze egy rendszer volt képes elérni a szakorvos szintjét. Általános probléma volt a gépi kódok túlzott óvatossága. Ez ugyan egészségügyi felhasználásnál alapvetően nem rossz hozzáállás, ám az algoritmusokat elméletileg pont azért vetnék be, hogy tehermentesítsék az orvosokat. A nagy számban keletkező "nem lehet eldönteni" típusú eredmények viszont csak további feladatokat rónak az egészségügyi személyzetre, illetve az esetleg újabb vizsgálatra (sok esetben feleslegesen) berendelt alanyokra.

A tesztek érdekessége volt, hogy az Atlantából származó képekkel általában jobban boldogult az MI, míg a Seattle kórházaiból érkező fotóknál sokkal több volt a gond. Ezt a kutatók arra vezették vissza, hogy az előbbi városban lényegesen egységesebb módon kezelték az orvosi felvételeket, azaz a gépi algoritmusok teljesítményére nagy hatással volt a felvételek minősége. (Ami egyébként elég természetes összefüggés.)

A tanulmány készítői a tapasztalatok alapján azt javasolják, hogy az egészségügyi jóváhagyások során érdemes lenne nagyobb, való életből származó mintákkal ellenőrizni ezeket az algoritmusokat.

Az érem másik oldala

A témával kapcsolatban a Register megkereste a programokat szállító cégeket is, amelyek közül voltak, akik elzárkóztak a nyilatkozattól, ám több vállalat képviselője hajlandó volt nyilatkozni. A megszólalók jobbára igyekeztek aláásni a tesztelők álláspontját.

A Retina-AI Health vezetője többek között azt kifogásolta, hogy heterogén, strukturálatlan adathalmazzal dolgoztak, amelyek között nem csupán retináról készített felvételek voltak. Előfordult például jogosítványkép is a mintában. A vezérigazgató emlékeztetett arra, hogy programjukat kifejezetten professzionális körülmények közötti bevetésre tervezték, ahol a lehetséges beteg retinájáról két külön fotót készítenek egy meghatározott típusú kamerával. Az ettől való eltérés nyilvánvalóan nagyban befolyásolja az elemzési hatékonyságot. Egy másik cég képviselője szintén kétkedéssel fogadta a tanulmányt, mivel szerinte az USA egészségügyi hatóságának (FDA) engedélyéhez a mostaninál lényegesen szigorúbb vizsgálatokon kellett sikerrel átesnie saját megoldásuknak.

Érdekes módon volt egy céges megszólaló, aki nemhogy nem támadta, de még méltatta is a kutatók munkáját. Az OphtAI technológiai vezetőjének erre az a "mentsége", hogy meggyőződése szerint a tesztekben az ő alkalmazásaik végeztek az első két helyen, ami alapján kijelenthető, hogy a többi megoldásnak még lenne hova fejlődnie, Az nem világos, hogy mindezt mire alapozva nyilatkozta a CTO, mivel a teszttel kapcsolatban a kutatók azt közölték, hogy annak sajátossága miatt maguk sem tudják, melyik MI szerepelt elfogadhatóan, és melyiknél akadtak gondok.