Az MIT egyik PhD-hallgatója egy kiállításon figyelt fel rá, hogy két művészeti alkotás mennyire hasonló jegyeket hordozhat annak ellenére, hogy nincs köztük semmilyen kimutatható összefüggés. Mark Hamilton állítólag egymás mellett látta Francisco de Zurbarán Szent Serapion című festményét és Jan Asselijn Fenyegetett hattyú című képét, ennek nyomán pedig elkezdte vizsgálni azokat a rejtett kapcsolatokat, amelyek esetleg felfedezhetők lennének a művészettörténet tanulmányozásával, és ebben egészen odáig jutott, hogy saját kutatócsoportjával, a Microsoft támogatását is elnyerve próbálta algoritmizálni a felfedezéseket.

A kutatás célja a képkereső technológiák továbbfejlesztése az előző több ezer évben keletkezett több millió festmény feldolgozásával, illetve a párhuzamok feltárásával azok témái, motívumai és vizuális jellegzetességei között. A MosAIc néven hivatkozott rendszer pillanatnyilag a New York-i Metropolitan Művészeti Múzeum és az amszterdami Rijksmuseum adatbázisával dolgozik, és a ZDnet beszámolója alapján már annyira hatékony, hogy egy adott képet vizsgálva behatárolja az érdeklődésre számottartó kulturális környezetet vagy médiumokat, és viszonylag gyorsan meghatározza az eredeti kereséshez leginkább hasonló munkákat.

Erre a riportban példának hozzák fel egy XVIII. századi holland házikabát képére adott találatokat, amelyek legelsőként egy kínai kerámiafigurához vezetnek – indirekt módon feltárva a kínai porcelánok és ikonográfia megjelenését a hollandiai piacokon a XVI. századtól fellendülő kereskedelem nyomán.

Nem csak a múlt feldolgozására alkalmas

A K-legközelebbi szomszéd (k-nearest neighbors, KNN), amelyet a MosAIc is használ, széles körben elterjedt az egyes objektumok hasonlóságainak azonosításában, így mondjuk a netes kereskedelemben felbukkanó termékajánlásokban. Ezeknek azonban megvannak a maguk korlátai: a képeknél maradva, hagyományosan csak az adott művész alkotásai között zajlik a keresés, vagy más esetekben feltétel nélküli kereséseket is lehet indítani, amikor a kismillió találat közül a felhasználó választja ki a számára legmegfelelőbbet.

A MosAIc újdonsága, hogy a feltételes keresésekhez a rendszer maga rendeli hozzá folyamtosan a szükséges szűrőket, mint amilyen a textúra, a tartalom, a színek vagy a pózok, amíg nam jut az értékelése szerint legpontosabb eredményekre. Az algoritmus ennek során egy fastruktúrába rendezi az egymáshoz hasonló tételeket, és egyre feljebb haladva alkalmazza az újabb és újabb szűrőket. Ezzel a kutatók szándéka alapján eddig nem nyilvánvaló összefüggéseket tárhat fel a vizuális világban.

A technológia a beszámoló alapján egylőre nem döntöget sebességi rekordokat, de a fejlesztők szerint egyszerű és hatékony módon sikerül növelniük a találatok diverzitását. Az egész dolog lényege pedig az, hogy a MosAIc felhasználása koránt sincs a képzőművészeti alkotásokra limitálva: kifejezetten alkalmas lehet például a deepfake anyagok azonosítására, kiszúrva azokat a pontokat, ahol az élethűen meghamisított digitális anyagokban mégsem sikerült tökéletesen a valóság imitációja. Az ilyen vakfoltok az emberi szem számára sokszor észrevehetetlenek, de az algoritmus éppen ezek alapján különböztet meg egy szofisztikált deepfake terméket a valóditól. Vagyis ha egy arc tökéletesen élethűnek hat, akkor lehet, hogy a fején lévő kalapban kell keresni az árulkodó jeleket.

Ehhez nem csak az egyre pontosabb találatok járulnak hozzá, de a korábban említett fa többi ága is, ha sikerül megindolkolni, hogy azok az elemek miért nem feleltethetők meg az eredeti inputnak, és ezeket mikor, melyik filter segítségével sikerült kiszűrni.

A kutatók ugyanígy eredményeket várnak a társadalomtudományokban vagy az egészségügyben, amelyek adatokban kifejezetten gazdag területnek számítanak, ezek feldolgozása azonban még messze nem tökéletes. Ahogy a hasonló kutatások meg szokták jegyezni, úgy a MosAIc fejlesztői is kiemelik, hogy munkájukkal leginkább inspirációt kívánnak adni a többi számítógéptudósnak és az egyes tárgykörök szakértőinek.