Nem újdonság, hogy a nagy nyelvi modellek energiafaló rendszerek, de most egy texasi adatközpont-szolgáltató számszerűsítette is a fogyasztásukat.
Hirdetés
 

Szemünk előtt zajlik a mesterséges intelligencia forradalma. Iparágak működése alakul át egyik napról a másikra. De mint minden technológiai fejlődésnek, ennek is vannak árnyoldalai: például az energiaigény növekedése. Azzal, hogy az MI-algoritmusokhoz sok áram kell, többé-kevésbé mindenki tisztában van. Egy texasi adatközpont-szolgáltató, a TRG Datacenters azonban számszerűsítette, hogy pontosan mit jelent ez a magas energiafogyasztás.

Az elemzés a Google-keresés alapján legnépszerűbbnek tekinthető algoritmusokra koncentrált. Ennek alapján még mindig a ChatGPT-t használják a legtöbben: átlagosan havi 16 millióan keresnek rá. A második helyen álló Bing messze lemaradt 6,7 millió lekérdezéssel. Utána pedig nagyságrendi csökkenés következik. A harmadik helyhez ugyanis elég volt 348 ezer lekérdezés, ezt egy nálunk ritkábban emlegetett algoritmus, a Jasper érte el. A Google Bard pedig csak a negyedik 201 ezres havi átlaggal. A tanulmány emellett még a Chatsonicot (158 ezer), a Google oktatási appját, a Socraticot (109 ezer) és YouChatet (20 ezer) vizsgálta.

Az elemzés hangsúlyozza, bár a számításokhoz felhasználtak akkreditált forrásokból származó adatokat – figyelembe vették többek között a modellarchitektúrát, a hardverspecifikációt, a képzési időt és az energiahatékonyságot is –, alapvetően becsült értékekről van szó. A pontos számításokat nehezítette például, hogy a Microsoft, a Google vagy az OpenAI rendszerei teljes egészében felhős infrastruktúrán, elosztott környezetben futnak.

De melyik MI a legnagyobb energiafaló?

Microsoft Bing: 7200 MWh. Jól mutatja ennek az energiaigénynek a nagyságát, hogy a Paksi Erőmű jelenlegi négy blokkjának összteljesítménye nem éri el a 2000 MW-ot. Ha ezt az energiát mondjuk lignitalapú erőművekkel (ilyen például a Mátrai Erőmű) állítanánk elő, akkor az évente több mint 20 millió tonna CO2 levegőbe engedésével járna.

A Bing GPT-4-et használ. LLM (Large Language Model) architektúrája megegyezik a GPT-3-éval, de annál 5,8-szor több paramétert kezel. Képzési ideje körülbelül öt-hat hónap, és a hozzá használt Nvidia V100 GPU-k sem éppen az energiatakarékosságukról híresek.

ChatGPT: 1248 MWh. Ha a kiszolgált lekérdezések felől nézzük, sokkal hatékonyabb, mint a Bing, hiszen közel hatszor kevesebb energiát igényel, miközben sokkal több kérést szolgál ki. GPT-3-at használ: a 175 milliárd paraméterrel és 96 réteggel rendelkező modell betanítása Nvidia V100 GPU-kon futtatva mintegy 26 nap.

A TRG Datacenters becslései szerint nagyjából ezt a fogyasztási szintet hozhatja a Jasper, Chatsonic és a YouChat is, tekintve, hogy teljes egészében az OpenAI technológiájára épülnek.

Google Bard: 312 MWh. Mint az elemzés írja, az MI-k között kiemelkedő az energiahatékonysága. Ezt mindenekelőtt annak köszönheti, hogy a Google saját fejlesztésű csipjét, a TPUv4-et használja, amely kétszer gyorsabb, ám fele annyi energiát igényel, mint a széles körben alkalmazott Nvidia V100. A Bard 137 milliárd paraméterével méretében a ChatGPT-3-hoz áll közel, így a kétszer gyorsabb csip miatt 13 nap alatt tanítható be.

A helyzet csak súlyosbodik

Ma már tömegével futnak MI-chatbotok különböző platformokon: csak a Facebook Messengeren legalább 300 ezer található, és számuk rohamosan nő. Egyes elemzők szerint hamarosan eléri a nyolcmilliárdot azoknak az eszközöknek a száma, melyek használnak valamilyen MI-asszisztenst. Ennek a globális energiafogyasztásra is jelentős hatása lesz, hiszen a TRG számai alapján nagyon úgy tűnik: az MI egyelőre távol van attól, hogy az energiafelhasználáshoz a fenntarthatóság felől közelítsen.

Cloud & big data

Jól vizsgázott üzletfolytonosságból az ukrán techszektor

Az orosz támadás megindulásakor Harkivban 511 informatikai cég volt. Közülük 500 ma is működik, pedig a munkatársak többsége elköltözött a harcokat közvetlen közelről megszenvedő városból.
 
Az alábbiakban körbejárjuk az Enterprise Service Management fogalmát, és megmutatjuk azt is, miben különbözik az ITSM-től.

a melléklet támogatója a Meta-Inf Kft.

CIO KUTATÁS

TECHNOLÓGIÁK ÉS/VAGY KOMPETENCIÁK?

Az Ön véleményére is számítunk a Corvinus Egyetem Adatelemzés és Informatika Intézetével közös kutatásunkban »

Kérjük, segítse munkánkat egy 10-15 perces kérdőív megválaszolásával!

LÁSSUNK NEKI!

Különösen az early adopter vállalatoknak lehet hasznos. De különbözik ez bármiben az amúgy is megkerülhetetlen tervezéstől és pilottól?

Sok hazai cégnek kell szorosra zárni a kiberkaput

Ön sem informatikus, de munkája során az információtechnológia is gyakran befolyásolja döntéseit? Ön is informatikus, de pénzügyi és gazdasági szempontból kell igazolnia a projektek hasznosságát? Mi közérthető módon, üzleti szemmel dolgozzuk fel az infokommunikációs híreket, trendeket, megoldásokat. A Bitport tizennegyedik éve közvetít sikeresen az informatikai piac és a technológiát hasznosító döntéshozók között.
© 2010-2024 Bitport.hu Média Kft. Minden jog fenntartva.