Az MIT tudósai azokat az adatkészleteket vették górcső alá, amelyeket előszeretettel használnak a mesterséges intelligencia trenírozására.

Miközben az IBM kutatói éppen a legjobb humán vitázót is leérvelő algoritmust simogatnak, kiderült, hogy egy csomó mesterséges intelligenciával foglalkozó projekt alapvetően félremegy azzal, hogy nem kellően pontos adatmintákból dolgoznak.

Alapvető probléma

Az MIT szakemberei az MI tesztelésére, trenirozására leggyakrabban használt adattömegeket vizsgálták meg. Ide olyan készletek tartoznak, amelyeket egyenként is minimum 100 ezer alkalommal vetettek be valamilyen fejlesztés során. Van köztük szöveges alapú, amely például az Amazon áruházából, vagy az IMDb oldaláról származik, de képek tengerét és hangfelvételek sokaságát is vizsgálták azok pontossága, megfelelő felcímkézése szerint.

Összességében 3,4 százaléknyi mintáról derült ki, hogy pontatlanul, vagy éppen teljesen rosszul van azonosítva az eredeti adattömegben. Ez értelemszerűen elég nagy arány ahhoz, hogy jelentősen befolyásolja az ezeken trenírozott algoritmusok eredményességét, pontosságát.

A hibák igen széles spektrumon mozogtak. Az Amazon termékértékeléseinél például pozitívnak lett megjelölve egy sor, egyértelműen negatív vélemény, és ugyanerre fordítva is bőven előfordult. A képek esetében említhető állatok félresikerült azonosítása, de olyan hibák is előfordultak, amikor egy képen nem a fő motívum, hanem egy jelentéktelen részlet lett címkeként rögzítve (egy kerékpárnál például a vázon tartott üditős flakont sikerült kiemelni). A legdurvább találat talán az a cumizó csecsemőt ábrázoló fotó volt, amelyet mellbimbóként sikerült kategorizálni.

 

Példák a félrecímkézett fotókra (forrás: MIT)

 

A szövegek és képek félreértelmezése után azon sincs mit csodálkozni, hogy a hangfelvételeket tartalmazó adatkészleteknél sem stimmelt minden. A YouTube anyagaiból származó csomagnál az egyik említett fiaskó az volt, hogy egy hosszabb beszédet egyszerűen templomi harangszónak azonosítottak (utóbbi egyébként tényleg hallható a felvételen, ám csak a végén és egy rövid ideig).   

Kóddal ellenőriztettek (nem hibátlanul)

Mivel hatalmas adattömegekről van szó, így értelemszerűen a kutatók nem tudták ezt a vizsgálatot önerőből elvégezni. Ehhez első körben egy az adatkészletekben meglévő irreleváns információkat kutató keretrendszert vetettek be. Az algoritmus által megjelölt vitás eseteket aztán kiadták bérmunkába az Amazon Mechanical Turk platformján, amelyen az ilyen jellegű egyszerű, de nagy mennyiségű feladatokra lehet jelentkezőket toborozni. 

Az eredmények összesítését követően kiderült, hogy a kód által előzetesen kigyűjtött elemek több mint fele valóban nem volt tökéletesen beazonosítva. A QuickDraw elnevezésű tesztkészlet lett a negatív bajnok azzal, hogy az adattömeg nagyjából tizede tekinthető rossznak.

Egyébként hiba és hiba között is komoly különbségek vannak, hiszen a rossznak minősített besorolások egy része inkább csak apró pontatlanságnak, vagy határesetnek tekinthető. Ráadásul gyakran akasztották a hóhért, hiszen a problémákat kutató algoritmusnak is sikerült mellényúlnia: egy esetben például egy teljesen pontosan felcímkézett, hangvillát ábrázoló fotóról azt hitte, hogy menóra van rajta, ezért a hibás csoportba utalta a mintát.

Akik egyébként szeretnének mazsolázni a fentebb említett hibákon túl is, azok mindenképpen látogassák meg a kutatók által erre a célra létrehozott honlapot.

Cloud & big data

A YouTube díjat adott magának, mert a szabad véleménynyilvánítás bajnoka

Na jó, nem a YouTube adta, csak egy a YouTube által szponzorált szervezet egy a YouTube szponzorálta eseményen. És nem a videómegosztó kapta, hanem a vezére.
 
Hirdetés

Három fontos tanács a jövőálló vállalkozások felépítéséhez

A VMware Future Ready Solution megoldásai lehetővé teszik a problémákra adott gyors reakciót, az új körülményekhez való alkalmazkodás és az innováció felgyorsítását is.

A virtualizáció nem válik elavulttá a konténerizació és a Kubernetes miatt, sőt katalizátora lehet az új techológiák bevezetésének.

a melléklet támogatója a Tech Data

A KPMG immár 22. alkalommal kiadott CIO Survey jelentése szerint idén az informatikai vezetők leginkább a digitalizációra, a biztonságra és a szoftverszolgáltatásokra koncentráltak.

Használtszoftver-kereskedelem a Brexit után

Az EU Tanácsa szerint összeegyeztethető a backdoor és a biztonság. Az ötlet alapjaiban hibás. Pfeiffer Szilárd fejlesztő, IT-biztonsági szakértő írása.
Ön sem informatikus, de munkája során az információtechnológia is gyakran befolyásolja döntéseit? Ön is informatikus, de pénzügyi és gazdasági szempontból kell igazolnia a projektek hasznosságát? Mi közérthető módon, üzleti szemmel dolgozzuk fel az infokommunikációs híreket, trendeket, megoldásokat. A Bitport tizenegyedik éve közvetít sikeresen az informatikai piac és a technológiát hasznosító döntéshozók között.
© 2010-2021 Bitport.hu Média Kft. Minden jog fenntartva.