Bármilyen sokat fejlődtek is az önvezető rendszerek, az rendszeresen kiderül, hogy a szoftverekkel vezérelt robotok kiszámíthatatlanul reagálnak az emberi környezetekben való üzemeltetés összetett kihívásaira. Nemrég a Waymo járműveiről derült ki, hogy milyen nehézségeket okoz egy látszólag egyszerű feladat, a gyerekeket fel- és leszállító iskolabuszok szabályos előzése, és mennyire ellentmondásos az önvezető technológia állítólagos alkalmazkodóképessége. A szakértők szerint a 99 százalékos megbízhatóság elérését követően az utolsó 1 százalék – vagyis a kivételek – betanítása a kemény dió a gépi tanulásban, mivel azokat lehetetlen egyesével meghatározni.

A megbízhatóság értékelését egyébként nem segíti sem az átláthatóság hiánya, sem a teszteléshez használt szimulációk konzervatív kialakítása. Egy kutatócsoport a múlt héten éppen ennek kapcsán mutatott be egy új benchmarkot az önvezető járművek tesztelésére, ami különféle előre nem látható forgatókönyvekkel teszi próbára a rendszereket: például megjelenik egy elefánt egy városi utcán, az út közepén ott áll egy játszótéri csúszda, vagy esetleg a Gyalogkakukk-rajzfilmeket idéző festett fal jön szembe, ami szemből nézve pont olyan, mint az előtte lévő út folytatása. Ez utóbbival egyébként már a valóságban is sikerült átverni a Tesla Autopilot vezetéstámogató funkcióit.

Ha nem érted, akkor legalább fékezz!

A németországi Tübingeni Egyetem tudósa, Andreas Geiger egy új tanulmány társszerzőjeként arról ír a Fail2Drive nevű teljesítmény-összehasonlító eljárásról szólva, hogy az önvezető modellek kutatásában milyen problémát jelent az azonos forgatókönyvek alapján végzett képzés és értékelés. Szerinte ami erős benchmark teljesítménynek tűnik, az lehet, hogy csak "erős memorizálás", így a Fail2Drive újítása, hogy erre a célra készült, adateloszláson kívüli (a betanításra használt adathalmaztól eltérő) szcenáriókat vezet be a nyílt forrású CARLA szimulátorba. Ezek közül némelyik elég furcsa (elefánt, Gyalogkakukk), mások azonban életszerűek, mint egy úton parkoló tűzoltóautó.

Abban a tekintetben nincs köztük különbség, hogy a fent idézett bejegyzésbe ágyazott videón az önvezető rendszerek az elefántba és a tűzoltóautóba is gond nélkül belerongyolnak. A Fail2Drive tesztjein átlagosan 22,8 százalékkal csökkent a modellek hatékonysága, ami a tudósok szerint alapvető kétségeket támaszt a jelenlegi megközelítések masszivitásával kapcsolatban. Van, aki szerint nincs sok értelme irreális vagy valószínűtlen forgatókönyvekkel kudarcra kényszeríteni a gépi tanuló modelleket, Geiger azonban úgy látja, hogy az áruházi parkolóban pálmafákat cipelő emberek jogosan várják el, hogy az önvezető autók ne gázolják el őket gyakrabban, mint az emberi sofőrök.