A Microsoft bejelentette a mesterséges intelligenciára épülő munkafolyamatokhoz tervezett infrastruktúraszolgáltatását, amelynek nagyvonalúan a Singularity (szingularitás) nevet adta. A társaság meghatározása szerint a munkaterheléshez igazodó feladatütemező (scheduler) átlátható módon elébe megy, és rugalmasan skálázza a mélytanulással (deep learning) összefüggő terhelést.

Ezzel úgy ér el magas kihasználtságot az MI-gyorsító eszközök (GPU-k, FPGA-k stb.) globális rendszerében, hogy közben nem befolyásolja az műveletek helyességét vagy teljesítményét. A kihasználtság és a megbízhatóság növelése a szolgáltató számára is lehetővé teszi a költségek csökkentését, ehhez pedig a Microsoft szoftvertechnológiája szolgáltatná a titkos receptet. Utóbbi automatikusan választja le a feladatokat a gyorsító erőforrásokról, így ha azok felfelé vagy lefelé skálázódnak, velük együtt változik a futó folyamatokhoz rendelt eszközök mennyisége is.

A dolog működése közben teljesen átlátható marad a felhasználók számára, mivel a folyamtok száma változatlan marad, függetlenül a munkát futtató fizikai eszközök számának változásától. Ahogy a Micosoft leírásából kiderül, mindez a "replica splicing" néven hivatkozott új technikának köszönhetően valósul meg, amelynek révén több munkafolyamat osztozhat jelentős többletterhelés nélkül az adott erőforráson, mindegyik számára lehetővé téve a teljes eszközmemória használatát.

Pont ugyanúgy, de nem feltétlenül ugyanott

Mindehhez a Microsoft bevezeti az "eszközproxy" fogalmát is, ami a saját címterében fut, de egy az egyben megfelel valamelyik fizikai gyorsítóeszköznek. A munkavégző folyamatokat ide irányítgatják a megosztott memórián keresztül, de az élettartamuk független a szóban forgó folyamat élettartamától. A fentiekkel a gyártó szerint több munka hatékonyabb ütemezését és megszakítás nélküli méretezést biztosítanak, és a szerverek is hosszabb ideig üzemelhetnek.

A Singularity infrastruktúraszolgáltatással jelentős áttörést ígérnek a mélytanuló rendszerek munkaterheléseinek ütemezésében, és alapvető, állandó funkciókat csinálnának az elaszticitásból vagy más, a főáramhoz még nem sorolható készségekből, amelyek nem mellesleg támogatják a szigorú SLA-k megvalósítását is. Ezzel és a rendszer architektúrájával kapcsolatos részletekért érdemes felkeresni a Microsoft eredeti anyagát.

A pdf formában elérhető dokumentum értelmében a Singularity alapértelmezetté teszi a preemptív, költöztethető és dinamikusan átméretezhető feladatokat a különböző csomópontok, fürtök vagy adatközpontok, illetve adatközponti régiók között, és azokat a kódok bármilyen változtatása nélkül, pontosan ugyanott lehet folytatni az egyik helyen, ahol a másik helyen felfüggesztették. Mindezt a Microsoft egy bolygóléptékű (planet-scale) rendszerként határozza meg a mesterségesintelligencia-alkalmazások futtatásához, amely mások mellett biztosítja a mikroszolgáltatások globális, regionális vagy workload szintű, hierarchikus ütemezését is.