A Google a héten jelentette be új generatív MI-modelljét, a Geminit, melynek egyes változataira fűtik majd a társaság legtöbb termékét és szolgáltatását – sőt a Gemini Pro az elsők között már munkába is állt Bard motorjaként. Ez a várakozások szerint nagy lendületet ad a Google saját MI-chatbotjának, amit a ChatGPT közvetlen versenytársának szántak, de eddig nem igazán halmozott sikert sikerre. A Gemini bemutatásakor viszont már olyan képességekről számoltak be, amelyek révén a modell nem csak eléri, hanem a legtöbb esetben meg is haladja a többi vezető modell (így az OpenAI GPT-4) teljesítményét.

Ahogy akkor írtuk, a Google által listázott benchmarkoknál valószínűleg fontosbb lesz a mindennapi felhasználás próbája, a TechCrunch pénteki összeállítása pedig máris azt sugallja, hogy az anekdotikus tapasztalatok nem feltétlenül erősítik meg a Gemini kiemelkedő kvalitásait. A cikk az X-en (korábban Twitteren) közzétett beszámolókat szemlézi, amelyekből kiderült például, hogy a Bard nem csak felsorolni volt képtelen a 2023-as Oscar-díjasokat, de egyes díjazottakat tévesen nevezett meg. Amikor pedig mások is feltették neki ugyanazt a kérdést, a chatbot ismét tévedett, de más tévedésekkel adott rossz válaszokat.

Még mindig nem ezt a robotot keressük

Az sem túl meggyőző, amikor az egyik felhasználó arra kéri a Bardot, hogy mondjon neki egy hatbetűs francia szót, mire a modell bedobja az "amour"-t. A TechCrunchnál természetesen ezt is megpróbálták ellenőrizni, és ők a "fromage" szót kapták vissza. Amikor a friss háborús hírek összefoglalására utasították a robotot, akkor az valakit válasz helyett a Google keresőjéhez irányított, más esetben pedig kiköpött ugyan egy listát a szalagcímekből, köztük egy hónapnál régebbi híradásokkal. Innentől már nem meglepő, hogy a Google a kódolást nevezte a Gemini egyik erősségének, de a rendszer időnként ezen is elvérzett.

Ott vannak végül azok a próbálkozások, amelyek a chatbot biztonsági szűrőit igyekeznek megkerülni. Ezek nyilvánvalóan nem tartoznak a rendeltetésszerű felhasználások közé, mégis nagyon fontos a megfelelő kezelésük. Mint kiderült, a Robust Intelligence kutatói egy automatizált módszerrel rávették a Gemini Prót, hogy javasoljon módszereket egy jótékonysági szervezettől való lopáshoz és egy magas profilú célszemély meggyilkoláshoz. Igaz, utóbbihoz a program nanobotok alkalmazását javasolta, ami talán nem a legkönnyebben kivitelezhető dolog, de a Google új termékét sem teszi sokkal vonzóbbá.