A fényképek mozgás miatti elmosódottságának (motion blur) korrigálására eddig is rendelkezésre álltak különféle eszközök, sőt a mesterséges intelligenciát sem most vetették be első alkalommal a rossz minőségű felvételek feljavítására. Az Nvidia, az MIT, és a finn Aalto University például már jó másfél éve közzétette egy közös kutatás eredményét, ami a képzajok csökkentéséről szól a kutatók által meghatározott gépi tanuló technikával. Legutóbb decemberben lehetett olvasni a Xiaomi új modelljéről, amely a rosszul exponált fotók részleteit és színeit segít helyreállítani, de ehhez hasonló megoldások az olyan nagy konzumer márkák eszköztárában is megjelentek már, mint amilyen az Apple vagy a Google.

Néhány nappal ezelőtt az Egyesült Arab Emírségekben működő Inception Institute of Artificial Intelligence, a pekingi Institute of Technology, illetve a New York-i Stony Brook University közös projektjéről jelentettek meg publikációt. Az ebben ismertetett eljárás már az utómunka fázisában képes élesíteni az elmosódott felvételeket, méghozzá úgy, hogy a képeken szereplő embereket és azok arcvonásait külön is értelmezi, vagyis egy általános szűrőhöz képest szemantikailag fontos részleteket tekintve is javítja a fotó minőségét. A kutatók ez utóbbit kiemelve állítják, hogy az új módszer már most is jobban teljesít a jelenleg használt legfejlettebb megoldásoknál.
 

forrás: github.com/ Ziyi Shen

A mozgás miatti elmosódottság a kép egyes elemeit tekintve a kamera és az objektumok egymáshoz viszonyított relatív elmozdulásaiból adódik, így az előtér és a háttér elemei is eltérő mértékben vagy módon degradálódhatnak – különösen, ha nem csak maga a kamera mozog, hanem a más-más távolságban lévő objektumok is. A kutatók által felvázolt modell ennek alapján maszkokkal határolja körül az előtérre és a háttérre jelemző változásokat: a rendszer tanításához használt, Human-aware Image Deblurring (HIDE) néven hivatkozott adatkészlet párokba rendezett felvételekből áll, amelyek egyike elmosódott, a másik viszont megfelelően éles.

Szép nem lesz, de felismerhető igen

A több mint 8 ezer párból álló HIDE sok ezer kültéri fényképet is tartalmaz, illetve nagy mennyiségben vonultatja fel a komplex háttereket vagy az előtérben tapasztalható sokféle bemozdulást. A képpárokat a leírás szerint előzőleg egy emberi formákat felismerő modellen is átfolyatják, ami lehetővé teszi, hogy nagyjából pontosan meghatározzák a képek szereplőinek befoglaló formáit. A fenti adatkészletben több mint 65 ezer ilyen objektum szerepel, ezeket külön-külön is megjelölik, mint embereket ábrázoló elemeket. A folyamat során (amelyhez mindössze egyetlen darab Nvidia Titan X grafikus kártyát használtak fel) mások mellett egy GoPro Hero sportkamerával készített felvételsorozatot is feldolgoztak, különbséget téve a praktikusan mozdulatlan és a mozgásban lévő alanyok között.

A kutatók szerint a rendszer már most is olyan eredményesen dolgozik, hogy a fényképek explicit struktúráját és a már említett szemantikai részleteket is figyelembe véve a leghatékonyabb eszköznek tekinthető a különböző forrásokból származó fotók rekonstrukciójához. A képek áltlános célú, az emberi szereplők azonosítására képes (human-aware) és részletes élesítése elsősorban a kézi eszközök, mobilok vagy fedélzeti kamerák felvételeivel lehet hasznos dolog az emberi szereplőkre koncentráló vizuális adattömeg feldolgozásában és szerkesztésében, mint amilyen mondjuk a járókelők azonosítása a kamerák felvételein. 

A dokumentumban számos illusztráció szemlélteti, hogy a kísérleti eredménynek milyen javulást ígérnek a pillanatnyilag elérhető hasonló eszközökkel szemben:
 

forrás: github.com/ Ziyi Shen