A Reuters a hét közepén számolt be az Amazon egy kevésbé jól sikerült belső projektjéről, amelynek célja a felvételi eljárásokat felgyorsító és hatékonyabbá tevő algoritmus kifejlesztése lett volna. A hírügynökség különböző forrásokra hivatkozva arról ír, hogy 2014-ben Edinbourgh-ban állították fel egy dedikált csoportot a toborzás folyamatának automatizálására, a cél pedig szó szerint egy olyan rendszer felépítése volt, amelybe az ember felvisz mondjuk száz önéletrajzot, az pedig rögtön kiköpi a legjobb ötöt, hogy a jelentkezőkkel már csak a szerződéseket kelljen megkötni.

A szakemberek a Reuters cikke szerint több mint 50 ezer kulcsfogalmat határoztak meg, 500 különböző modellt hozva létre az egyes pozíciók követelményeire és a munkavégzés helyszínére, a fogalmak felismerésére pedig a korábbi önéletrajzok vizsgálatával tanították a rendszert. Az MI-nek például meg kell tudnia határozni, hogy milyen képességek azok, amelyek csekély jelentőséggel bírnak – ha mondjuk egy informatikai állásra érkezett jelentkezéseket vizsgálja, akkor a "programozás" önmagában nem jelent fontos kompetenciát, hiszen a jelentkezők legnagyobb része eleve rendelkezik vele.

Az elején kifejezetten jó ötletnek tűnt

Hogy az Amazonnál mekkora szükség volt egy ilyen eszközre, azt jól érzékelteti, hogy a vállalat alkalamzottainak száma a 2015 júniusa óta eltelt két évben több mint a háromszorosára, több mint 575 ezerre növekedett. Az algoritmus azonban több szempontból sem váltotta be a hozzá fűzött reményeket, ennek pedig a Reuters értesülései szerint az volt az egyik fő oka, hogy látványosan elkezdte súlyozni a jelentkezők nemét, egészen pontosan hátránynak értékelte, ha nőnemű munkavállaló pályázott az adott pozíciókra.

Ennek magyarázata lehet, hogy – szemben a fenti példával – a modellek azokat a képességeket vagy fogalmakat is meghatározták, amelyek az átlagosnál nagyobb súllyal esnek a latba. Az ilyen kifejezések azonban inkább a férfiak önéletrajzában fordulnak elő (pláne, hogy az adatbázisban az Amazon elmúlt 10 évének jórészt férfiaktól származó önéletrajzai szerepeltek), így az öntanuló rendszer kézenfekvő módon összekapcsolta a jelentkezők nemét is a feltételezett alkalmassággal.

A dolog odáig jutott, hogy a rendszer már mínusz pontokat osztogatott, ha valakinél bármilyen összefüggésben szerepelt a "women’s" kifejezés (mondjuk arról írt, hogy egy női sakkozó csapatot vezet), és két esetben is lerontotta valakinek az eredményét amiatt, hogy a jelentkező egy lányiskolában folytatta a középfokú tanulmányait. Bár a hírek elsősorban a nők diszkriminációját kapták fel a Reuters riportjával kapcsolatban, a cikkből kiderül, hogy az MI más tekintetben sem volt kiegyensúlyozott, így rövid idő után felmerült, hogy a program sokszor olyan jelentkezőket javasol a különféle feladatokra, akik nem elég képzettek vagy általában alkalmatlanok a munkakör betöltésére.

Az Amazon gyorsan ki is adott egy közleményt, amely ugyan nem erősítette meg az algoritmus torz működésével kapcsolatos értesüléseket, de azt leszögezi, hogy a vállalatnál soha nem támaszkodtak erre az eszközre a pályázatok értékelésében. Ennél többet nem árultak el, vagyis arról nem volt szó, hogy a toborzók egyáltalán hozzáfértek-e a mesterséges intelligencia által kiadott minősítésekhez. A Reuters forrásai szerint nyilván hozzáfértek, de arról a hírügynökség sem tud, hogy ez lett volna a bírálatok legfontosabb vagy akár kizárólagos alapja.

Bármilyen sztereotipia algoritmizálható

Ahogy a munkahelyi nemi diverzitás támogatása, nem ritkán kikényszerítése egyre gyakoribb téma, úgy teljesen érthető, hogy az Amazon miért próbálja lepattintani az ügyet. Különösen azután, hogy október elején a társaság jelentős béremelést jelentett be az Egyesült Államokban és az Egyesült Királyságban – megpróbálva ezzel levakarni magáról azt a stigmát, hogy az Amazont hagyományosan könyörtelen és szűkmarkú munkaadóként tartják számon. A kampány annyira bejött, hogy azóta más láncok, mint a Walmart vagy a Target, szintén kisebb-nagyobb béremelésekre kényszerültek, az Amazon pedig fürdött az ilyen-olyan oldali amerikai politikusok dícséretében, akikkel amúgy nem mindig volt felhőtlen a viszonya.

A Reuters cikkben megszólaltatott szakértők ugyanakkor nem a nemi megkülönböztetésre hegyezik ki a dolgot, hanem általánosságban arról értekeznek, hogy milyen komoly probléma egy öntanuló algoritmus fair működésének biztosítása, vagy akár csak elérni, hogy a rendszerek értelmezhető és könnyen érthető módon végezzék a feladatukat. A megnyugtató válaszoktól még messze vagyunk ezen a területen, ami azért (is) kellemetlen, mert a CareerBuilder 2017-es felmérése szerint például az amerikai HR-vezetők több mint fele már úgy látta, hogy öt éven belül az MI alapú megoldások szerves részét képezik majd a munkájuk során használt eszközöknek.

Ahogy arról két évvel ezelőtt mi is írtunk, már akkor komoly problémaként merült fel, hogy az egyes algoritmusok milyen könnyen továbbviszik az azokat létrehozó szervezetekre vagy társadalmakra jellemző (akár rossz) logikát. Ha az algoritmusok leképzik az uralkodó attitüdöket és sztereotipiákat, akkor matematikai-statisztikai alapon termelik újra az egyoldalú társadalmi beállítottságot. Ez persze a mostani viszonylatban sem azt jelenti, hogy a férfias szemlélet szükségszerűen rossz lenne – egyszerűen arról van szó, hogy az egyoldalúság itt is és más területeken is komoly, akár társadalmi szintű problémákat okozhat. Különösen akkor, ha mindazok, akikről az algoritmusok döntenek (jelen esetben az Amazon állásaira pályázók) nincsenek tisztában azok működésével, miközben az automatizált döntések hatásai alól sem vonhatják ki magukat többé.