Több lehetőség is rendelkezésre áll az érdeklődők számára. Az olyan nagyágyúk, mint az Amazon AWS EC2, az IBM Softlayer vagy a Google Compute Engine-je (GCE) mellett a kisebbek, mint például a dedikált kiszolgálókat nyújtó Hetzner is alternatíva lehet. Van azonban egy komoly bökkenő: nem áll rendelkezésre olyan benchmark, ami a machine learning szemszögéből, egységes mérési módszerekkel vizsgálná ezeket a szolgáltatásokat. Így pedig nehéz döntést hozni.

Egy nemrég megjelent felmérés ebben igyekszik segíteni. Az indiai Birla Institute of Technology and Science (BITS) gazdasági mesterképzésén végzett és informatikai diplomát szerzett Shiva Manne nevéhez köthető kutatás a gépi tanulási kereteket és a hardverplatformokat vetette össze egymással. Az IBM Global Entrepreneurship keretei között megvalósult elemzés olyan gyakorlati tényezőket vizsgált, mint a használat egyszerűsége, költségek, stabilitás, skálázhatóság és teljesítmény.

Jelentős eltérések

Ennek köszönhetően derült fény arra, mennyire eltérő költséggel járhat egy tanulási modell futtatása a különböző hardverplatformokon. Ugyanazt a benchmarkot Docker konténerből lefuttatva meglepően eltérő árakat kapott a kutató. Még az egyes szolgáltatóknál is különbségeket tapasztalt, amikor kis, közepes és nagy erőforrásokat állított a mérés szolgálatába.

Például az Amazon AWS a második legolcsóbb ajánlatot adta egy 4 magos kiszolgáló esetében, igaz, alig valamivel lett csak drágább a Google Cloud Engine-je. Ugyanakkor a legalább 32 mag erejére támaszkodó tesztelés esetében ez lett a legtöbbe kerülő ajánlat, két és félszer nagyobb költséget jelentve a keresőóriás hasonló szolgáltatásához viszonyítva. A felhőalapú számítási teljesítmény árát tehát nem csak az alkalmazott CPU magok száma befolyásolta jelentősen, hanem az is, hogy azt melyik szolgáltatónál vették igénybe.

Benchmark algoritmusként a Word2Vec-re esett a kutató választása. Nem csak azért, mert gyakorlati algoritmusról van szó, melyet az iparban és az oktatásban egyaránt széles körben használnak, hanem abból kifolyólag is, hogy igen számításigényes példányról van szó, ami képes alaposan megdolgoztatni az alá rakott hardvert. Mindemellett könnyen párhuzamosítható, vagyis mind szoftveresen, mind hardveresen egyszerűen vizsgálható skálázhatósága. Egyik legfontosabb tulajdonsága azonban, hogy már több mint 4 éve létezik, ami a machine learning terén megkerülhetetlen tényezővé teszi.

Eredmények

Az egyes platformok eredményeinek összevetésével kiderült, hogy leginkább az IBM Softlayere (és a Hetzner szolgáltatása) támogatja az új felhasználókat, a témával még csak most ismerkedők számára a Kék Óriás nyújtja a legegyszerűbb belépési pontot a machine learning területére. Ezzel szemben a GCE beállítások tengerével árasztja el a szolgáltatást próbálgatókat, ami elbizonytalaníthatja a leendő felhasználókat. Az AWS valahol félúton helyezkedik el a két véglet között, állapította meg Manne.

Stabilitás tekintetében csak a Google rendszerében tapasztalt problémát a kutató: egy hosszú Tensorflow benchmark állt le néhány napnyi futás után, anélkül, hogy bármilyen hibaüzenetet adott volna vissza. A megismételt kísérlet hasonló eredménnyel zárult.

Ezzel szemben az AWS-szel együtt nagyon jól szerepelt a GCE a provizionálás tekintetében. Az erőforrásigény leadása és a platform rendelkezésre állása között csak pár perc telt el ennél a két szolgáltatónál, miközben a Softlayernél ugyanez 20 percig is eltartott. A legkevésbé hatékonynak azonban a Hetzner bizonyult: a dedikált szerverek munkába állítása egy órától akár egy napig is eltartó folyamat lehet.

Mibe kerül?

A hardverköltségek elég vegyes képet mutattak. Amint azt korábban már említettük, három különböző konfigurációt tett próbára a kutató minden egyes szolgáltatásnál. Adott szinten a versenytársak egymáshoz viszonylag közel végeztek teljesítmény per költség viszonyában. Az Amazon AWS azonban a csúcskategóriás erőforrásokon futtatott Tensorflow esetében egészen magas költségeket hozott ki, minden riválisához képest legalább dupla anyagi ráfordítást jelentve a tesztelő számára.

Összességében a Google Cloud Engine-je mutatta fel ezen a téren a legjobb átlagot. Ennek fő oka, hogy míg a GCE (az IBM Softlayerével egyetemben) egyedileg beállítható erőforrás-példányok létrehozását is lehetővé teszi, ami segít a költségek alacsonyan tartásában, addig az AWS felhasználók számára előre meghatározott konfigurációk közül kell választani, amikhez a feladathoz mérten túl sok erőforrást rendelnek hozzá.

A Google platformja másodperc-alapú számlázást tesz lehetővé, októbertől egyébként az AWS is hasonló kondíciót kínál. Ezzel szemben a Softlayernél továbbra is óraalapú az elszámolás, ráadásul a teszt során hetekig nem frissült megfelelően az igénybe vett erőforrásokért számlázandó összeg, aminek köszönhetően Manne túl is szaladt az eredetileg tervezett költségkereten.

Érdekes megállapításra jutott a vizsgálat: noha újabb és újabb erőforrások bevonásával gyorsabbá tehető a gépi tanulás folyamata, RoI szempontjából elég alacsony a skálázhatóság optimális szintje. Ha fontos a befektetett költség minél hatékonyabb megtérülése, akkor a lehetőségekhez képest minimálisra kell szabni a párhuzamos feladatvégrehajtás szintjét, vonta le a következtetést Manne.

A kutatás részletes eredményei itt olvashatók.