Az új Pixel 2 telefonba szerelt kamera nem csupán hardveresen és szoftveresen nyújt kiemelkedőt, de a gépi tanulásnak köszönhetően olyan élményt hoz a fényképezés világába, amihez hasonlót korában még sosem tapasztalhattak meg ennyien - állítja a Google. Egyszerűbbé válhat a jó képek készítése, mivel a beépített automatizmusok maguktól rögzítik az ideális(hoz közeli) beállításokat, arról többnyire már nem a felhasználónak kell gondoskodnia.

High Dynamic Range

A fényképezés egyik legnagyobb kihívása a nagy dinamikatartománnyal bíró képek megfelelő elkészítése. Azoknál a témáknál ugyanis, ahol jelentős a fényerőeltérés, a sötétebb vagy a világosabb részekhez igazodik az automatikus beállítás. Ennek eredményeként az elkészült fotón vagy a sötét részek lesznek jól láthatók (és a világosak kiégettek), vagy a fényben erős területeket lehet jól megörökíteni, a sötétebbeken viszont elvesznek a részletek.

A baloldali fotó HDR nélkül, a jobboldali HDR alkalmazásával készült.

Ezt a jelenséget képes kiiktatni a HDR+, mely algoritmizált módon avatkozik a képkészítés folyamatába. Ahhoz azonban, hogy ehhez kellő számítási kapacitás álljon rendelkezésre, a folyamat minél gyorsabban mehessen végbe, a Google létrehozta a Pixel Visual Core-t. Ez a vállalat első, saját maga által fejlesztett társprocesszora, ami kereskedelmi forgalomban kapható termékbe került. A PVC minden Pixel 2-ben megtalálható, és a Google ígérete szerint a következő hónapokban egy szoftveres frissítés révén több alkalmazás számára is szélesre tárják a HDR+ ajtaját.

A Pixel Visual Core lelkét a házi fejlesztésű képkezelő egység (Image Processing Unit, IPU) adja. Ez a programozható, kifejezetten a teljesítmény maximalizálásának és a fogyasztás minimalizálásának figyelembevételével tervezett processzor nyolc különböző maggal rendelkezik, melyek mindegyikét 512 ALU-val (aritmetikai logikai egységgel) látták el. Az IPU nyers erejét jól mutatja, hogy másodpercenként több mint 3 billió műveletet képes végrehajtani úgy, hogy közben alkalmazkodik a mobil energiagazdálkodási igényekhez.

Ennek köszönhetően a HDR+ algoritmusai a Google adatai alapján ötször gyorsabban futhatnak, miközben tizedannyi energiát használnak, mintha erre az alkalmazásprocesszoron kerülne sor. Ennek kulcsa a hardveres és szoftveres képességek szoros együttműködése: a Google szoftvere a hardver sokkal több paraméterét ellenőrzi, mint egy tipikus processzor. Ezzel nem csak egyszerűbbé, de hatékonyabbá is válhat a hardver, ugyanakkor ez egyben az IPU számára is új kihívást jelent a hagyományos programnyelvek használata mellett.

A fenti probléma elkerülése érdekében az IPU kihasználja a domain-specifikus nyelvek előnyeit, mellyel a fejlesztő és a compiler válláról is leveszi a terheket. A képfeldolgozáshoz ezért a Halide nyelvet használja, a gépi tanuláshoz pedig a TensorFlow-t. A Google által készített saját compiler segít a hardverhez optimalizálni a kódot.

Közkinccsé válik

Az elkövetkező hetekben az amerikai keresőóriás engedélyezni fogja a Pixel Visual Core használatát az Android Oreo 8.1 (MR1) fejlesztői preview-jában. Ezt követően külső fejlesztők által készített appok számára is elérhető lesz az Android Camera API, amivel hozzáférhetnek a Pixel 2 HDR+ technológiához. Így már nem csupán a mobil operációs rendszerbe integrált fényképező alkalmazás révén lehet élni a HDR+ előnyeivel, hanem a felhasználók megszokott, kedvenc appjai is kiaknázhatják a lehetőséget.

Ami pedig a Pixel Visual Core-t illeti, a HDR+ csak az első alkalmazás, ami ezen futhat. Mivel a PVC programozható, a Google már most dolgozik azokon az alkalmazásokon, amelyek sokat profitálhatnak a vállalat saját fejlesztésű társprocesszorából. Ahogy egyre több gépi tanulási és képfeldolgozási feladatot adhatnak át az egységnek a Google mérnökei, a Pixel 2 tudása úgy fejlődhet tovább.