"Mi lehet ijesztőbb a Doctor Who sci-fi tévéfilmsorozat képeinél? Például a megtekintése közben a nézők agyában végbemenő folyamatok vizuális megjelenítése" – írta a Jelenből a jövőbe blog annak a különleges kísérletnek a kapcsán, amiben holland és német kutatóknak sikerült kivetíteniük azokat a képeket, amiket az emberi agy "lát" filmnézés közben. A kutatók ehhez fejlesztettek egy Brain2Pix nevű rendszert, amely képes vizualizálni a filmnézés közbeni agytevékenységet.

A kísérletben – melynek eredményeit a kutatók a bioRxiv-n publikálták – Doctor Who-rajongók agytevékenységét vizsgálták, miközben a kísérleti alany a sorozat valamelyik epizódját nézte. A részvételhez tényleg elkötelezett rajongónak kellett lenni, mert mint a The Register írta, a kísérlet során a sorozat harminc epizódját kellett végignézni. A kutatók ezalatt az általuk fejlesztett gépi tanulási (ML – Machine learning) algoritmussal megkísérelték képpé alakította a kísérleti alanyok agyának fMRI jeleit.

A kísérletben olyan ML algoritmust használtak, amit a sorozatból kiválasztott képkockákkal és azok látványának agyi hatását rögzítő fMRI jelekkel tanították. Eközben feltérképezték, hogy az agy mely pontja felelős az adott képpont értelmezésért, amit a vizsgált személy a vizuális térben lát. Mint az egyik kutató a The Registernek mondta, ehhez az agyról készült egyes szkeneket matematikai objektumokká, tenzorokká alakították. Ezekkel a tenzorokkal dolgozott a Brain2pix modell, amely kellő hatékonysággal volt képes lefordítani az agyban végzett tevékenységeket pixelekre (lásd az alábbi képet).

Az ML egyik jelentős problémájához jutottak közelebb

Mint a Jelenből a jövőbe blog írja, az agytevékenység komplex és dinamikus képi megjelenítése nagy kihívás az gépi tanulás és az idegtudományok számára is. A holland-német csapat eredményei ehhez vihetnek közelebb. A kísérletnek azonban komoly korlátja, hogy egyénre szabott, azaz egy vizsgálati alany eredményein tanított ML algoritmus személyre szabott: az egyik vizsgálati alany fMRI jelei alapján tanított algoritmus gyenge-rossz eredmény ad egy másik alanynál. Ez még akkor is így van, ha két emberrel ugyanazt a Doctor Who?-klipet nézi.

A fontos eredmény az, mondta a The Registernek az egyik kutató, hogy tudták feltérképezni valamennyire, hogy az agy hogyan képezi le a környezetet. Emellett közelebb visz ahhoz, hogy olyan agy-számítógép interfészt lehessen készíteni, amin keresztül a minimális kommunikációra is képtelen emberekkel lehet kapcsolatba lépni. Emellett segíthet a látóideg-sérülteknek visszanyerni a látásukat.

Hasonló céllal folynak kutatások a Holland Idegtudományi Intézetben is. Mint korábban beszámoltunk róla, egy kutatócsapat két makákónak adta vissza a részleges látását agyi implantátum segítségével.