Az újkori filmek és sorozatok egyik legbénább technológiai vonatkozású ferdítése, amikor a hi-tech nyomozók kis méretű, alacsony felbontású felvételeket nagyítgatnak több száz- vagy ezerszeres méretre, és elolvassák az eredetileg ötször három képpontból álló figurák gallérján a mosoda pontos címét. Bár a valóságban nagy távolságból is megdöbbentően részletes fotókat lehet készíteni, és a tömörítés miatt lerontott videókat is meg lehet nézni eredeti felbontásban, egy eleve rossz minőségű képet nem lehet ilyen mértékben feljavítani. Legalábbis nem úgy, hogy releváns információt lehessen kinyerni belőle.

Az észak-karolinai Duke University kutatói nemrég egy olyan megoldással álltak elő, amely ha nem is produkálja a tévében látható trükköket, egy érdekes megközelítést alkalmaz a pixeles fotók, egész pontosan emberi arcok feldolgozására. A mintavételezési frekvenciájának utólagos megnövelését (upsampling) segítő MI-algoritmus, a PULSE (Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models) fotorealisztikus portrékat készít az eredeti mintákból, akár hatvannégyszeresére növelve azok felbontását. Ez azt jelenti, hogy egy 16×16 képpont méretű ikonból 1024×1024 pixeles, részletes arckép lesz.

Csak tippelget, de azt nagyon ügyesen teszi

A PULSE természetesen nem a lehetetlenre vállalkozik, vagyis nem olyan információt tesz láthatóvá, ami nincs is meg a forrásokban. Ehelyett megfordítja a dolog logikáját, és olyan képeket próbál generálni, amelyeket aztán az eredeti szintjére "visszarontva" a mintául szolgáló felvételeket minél jobban megközelítő eredményt kap. Ezáltal nem az eredeti arcokat varázsolja elő, hanem egy becslést ad, hogy azok nagy valószínűséggel milyenek lehettek – a becslései viszont elég pontosak ahhoz, hogy a technológia orvosi diagnosztikától a mikroszkópián át a műholdképekig egy nagy csomó képalkotó alkalmazásban felhasználható legyen.
 

forrás: Robin A. Smith, Duke University

A mesterséges intelligencia ebben az esetben is a GAN (generative adversarial networks) néven hivatkozott gépi tanuló technikát alkalmazza, amivel tulajdonképpen a két neurális hálózat közös működésére épülő rendszereket szokták jelölni. Ezek közül az egyik hálózat mindig a generátor (valamilyen információ létrehozója), a másik pedig a diszkriminátor (az információ értékelője). Utóbbi azt próbálja meghatározni, hogy a valódinak meghatározott minták hogyan viszonyulnak a másik hálózat által előállított mintákhoz, a visszacsatolás révén pedig az előbbi hálózat folyamatosan tanul, és egyre jobb eredményekre lesz képes.

Esetünkben az egyik hálózat elkezdi gyártani az eredeti minta alapján generált arcképeket, a másik pedig azt ellenőrzi, hogy az eredmények megfelelnek-e a szükséges paramétereknek. Ahogy az alábbi, a PULSE fejlesztőit ábrázoló demóból is jól látható, a rendszer nem képes (nem is lehet képes) visszaadni mindazt az információt, ami a képek minőségromlása során elveszett, ugyanakkor nagyon jól eltalálja, hogy eredetileg miről lehetett szó. A kutatók 40 emberi felhasználót is megszondáztak, hogy értékeljék a PULSE és öt másik scaling alkamazás által generált 1440 arcképet, és állításuk szerint a PULSE alkotásai majdnem olyan jól teljesítettek, mint az alanyokról készült eredeti, nagy felbontású fotók.

forrás: Robin A. Smith, Duke University