A stockholmi Royal Institute of Technology egy végzős hallgatója letesztelte, hogyan dolgoznak az LLM-ek (large language model) munkaerő-toborzásnál. A diplomaprojektet jegyző Celeste De Nadai, aki amúgy egy svéd tartalomgyártó startup marketingese, nem akarta megváltani a világot: azt vizsgálta meg, hogy jobbak-e a jelenlegi LLM-ek elfogultság szempontjából, mint az előző generációs modellek.
A kérdés nagyon is aktuális. Rohamosan terjednek az MI-alapú HR-es kiválasztó szoftverek, melyek használatát egyesek kifejezetten kontraproduktívnak tartják. Ilyen jellegű kutatásokat pedig nagyobb adathalmazon és a legújabb modellekkel még nem futtattak le.
Hogyan hangzik ugyanaz más szájból?
De Nadai kutatása során kizárólag olyan primer adatokkal (a jelölt neve és neme) dolgozott, melyekből az LLM-ek következtethetnek a jelöltek kulturális környezetére. Három modellt vizsgált: a Google Gemini-1.5-flash-t, a francia Mistral AI által fejlesztett Open-Mistral-nemo-2407-et és az OpenAI GPT4o-mini-jét.
A modellek feladata az volt, hogy értékeljék a jelöltek állásinterjú során adott válaszait a nem és a kulturális csoportra utaló név figyelembe vételével. A három LLM persze át volt verve: a kiértékelendő válaszok minden esetben ugyanazok voltak, csak a válaszokat adó személy neve és neme változott.
A kísérletek során a válaszokat 200 különböző névvel társították: fele férfi, fele női, melyeket négy kulturális csoportból (nyugat-afrikai, kelet-ázsiai, közel-keleti, angolszász) választottak. Az LLM-ekkel az elemzést 15 különböző ún. hőmérséklet-beállítással végezték el: egytizedes lépésekben változtatták, hogy az adott modell mennyire adjon elvárható (0,1-es beállítás), illetve meglepő, akár minden konvenciótól elrugaszkodott (1,5-es beállítás) választ.
Az eredmény egyértelmű, állítja dolgozatában De Nadai: ha a modellek angolszász származásra utaló nevet viselő férfi jelöltek válaszaiként kapták meg a kiértékelendő válaszokat, akkor azokat tendenciózusan gyengébbre értékelték, mint más esetekben.
A korábbi kutatások alapján De Nadai előfeltevése az volt, hogy a modellek pont fordítva viselkednek: a nyugati nevet viselő férfi jelölteket értékelik pozitívabban. A modellek között azonban volt némi eltérés: a Gemini modell bizonyos beállításoknak (pl. 1 fölötti hőmérsékleti értéknél) jobban teljesített.
Átestek a ló másik oldalára?
A tanulmány sajnos nem ad egzakt módon bizonyítható magyarázatot a jelenségre. De Nadai elmélete (feltételezése) az, hogy az LLM-ekben általában túlkorrigálták az előítéletességet, ami viszont emiatt az ellenkező irányba torzult.
Mindez csupán apró adalék ahhoz, hogy a fejlesztők továbbra sem tudnak mint kezdeni az előítéletességgel. De ebből De Nadai szerint nem az következik, hogy el kellene vetni az MI használatát a toborzásban. Azt javasolja, hogy a technológia korlátait figyelembe véve tegyünk fel pontosabb kérdéseket a modellnek, illetve fordítsunk nagyobb figyelmet a hőmérsékletérték finomhangolására. De még így is ki kell zárni az elemzendő adatok köréből minden olyan elemet, amelyet nem kívánunk (vagy nem szabad) figyelembe venni a munkaerő-felvételnél. Ilyen adat lehet például a jelöltek neve és neme.
Az ötlettől az értékteremtésig – az üzleti réteg szerepe az adattudományi működésben
Az adattudomány valódi értéke ott válik láthatóvá, ahol az előrejelzések döntésekké, a döntések pedig mérhető üzleti eredményekké alakulnak. Ehhez azonban tudatos üzleti beágyazásra, mérési keretrendszerekre és következetes visszacsatolásra is szükség van.
a melléklet támogatója a One Solutions
EGY NAPBA SŰRÍTÜNK MINDENT, AMIT MA EGY PROJEKTMENEDZSERNEK TUDNIA KELL!
Ütős esettanulmányok AI-ról, agilitásról, csapattopológiáról. Folyamatos programok három teremben és egy közösségi térben: exkluzív információk, előadások, interaktív workshopok, networking, tapasztalatcsere.
2026.03.10. UP Rendezvénytér
Nyílt forráskód: valóban ingyenes, de használatának szigorú szabályai vannak