Nem újdonság, hogy a nagy nyelvi modellek energiafaló rendszerek, de most egy texasi adatközpont-szolgáltató számszerűsítette is a fogyasztásukat.
Hirdetés
 

Szemünk előtt zajlik a mesterséges intelligencia forradalma. Iparágak működése alakul át egyik napról a másikra. De mint minden technológiai fejlődésnek, ennek is vannak árnyoldalai: például az energiaigény növekedése. Azzal, hogy az MI-algoritmusokhoz sok áram kell, többé-kevésbé mindenki tisztában van. Egy texasi adatközpont-szolgáltató, a TRG Datacenters azonban számszerűsítette, hogy pontosan mit jelent ez a magas energiafogyasztás.

Az elemzés a Google-keresés alapján legnépszerűbbnek tekinthető algoritmusokra koncentrált. Ennek alapján még mindig a ChatGPT-t használják a legtöbben: átlagosan havi 16 millióan keresnek rá. A második helyen álló Bing messze lemaradt 6,7 millió lekérdezéssel. Utána pedig nagyságrendi csökkenés következik. A harmadik helyhez ugyanis elég volt 348 ezer lekérdezés, ezt egy nálunk ritkábban emlegetett algoritmus, a Jasper érte el. A Google Bard pedig csak a negyedik 201 ezres havi átlaggal. A tanulmány emellett még a Chatsonicot (158 ezer), a Google oktatási appját, a Socraticot (109 ezer) és YouChatet (20 ezer) vizsgálta.

Az elemzés hangsúlyozza, bár a számításokhoz felhasználtak akkreditált forrásokból származó adatokat – figyelembe vették többek között a modellarchitektúrát, a hardverspecifikációt, a képzési időt és az energiahatékonyságot is –, alapvetően becsült értékekről van szó. A pontos számításokat nehezítette például, hogy a Microsoft, a Google vagy az OpenAI rendszerei teljes egészében felhős infrastruktúrán, elosztott környezetben futnak.

De melyik MI a legnagyobb energiafaló?

Microsoft Bing: 7200 MWh. Jól mutatja ennek az energiaigénynek a nagyságát, hogy a Paksi Erőmű jelenlegi négy blokkjának összteljesítménye nem éri el a 2000 MW-ot. Ha ezt az energiát mondjuk lignitalapú erőművekkel (ilyen például a Mátrai Erőmű) állítanánk elő, akkor az évente több mint 20 millió tonna CO2 levegőbe engedésével járna.

A Bing GPT-4-et használ. LLM (Large Language Model) architektúrája megegyezik a GPT-3-éval, de annál 5,8-szor több paramétert kezel. Képzési ideje körülbelül öt-hat hónap, és a hozzá használt Nvidia V100 GPU-k sem éppen az energiatakarékosságukról híresek.

ChatGPT: 1248 MWh. Ha a kiszolgált lekérdezések felől nézzük, sokkal hatékonyabb, mint a Bing, hiszen közel hatszor kevesebb energiát igényel, miközben sokkal több kérést szolgál ki. GPT-3-at használ: a 175 milliárd paraméterrel és 96 réteggel rendelkező modell betanítása Nvidia V100 GPU-kon futtatva mintegy 26 nap.

A TRG Datacenters becslései szerint nagyjából ezt a fogyasztási szintet hozhatja a Jasper, Chatsonic és a YouChat is, tekintve, hogy teljes egészében az OpenAI technológiájára épülnek.

Google Bard: 312 MWh. Mint az elemzés írja, az MI-k között kiemelkedő az energiahatékonysága. Ezt mindenekelőtt annak köszönheti, hogy a Google saját fejlesztésű csipjét, a TPUv4-et használja, amely kétszer gyorsabb, ám fele annyi energiát igényel, mint a széles körben alkalmazott Nvidia V100. A Bard 137 milliárd paraméterével méretében a ChatGPT-3-hoz áll közel, így a kétszer gyorsabb csip miatt 13 nap alatt tanítható be.

A helyzet csak súlyosbodik

Ma már tömegével futnak MI-chatbotok különböző platformokon: csak a Facebook Messengeren legalább 300 ezer található, és számuk rohamosan nő. Egyes elemzők szerint hamarosan eléri a nyolcmilliárdot azoknak az eszközöknek a száma, melyek használnak valamilyen MI-asszisztenst. Ennek a globális energiafogyasztásra is jelentős hatása lesz, hiszen a TRG számai alapján nagyon úgy tűnik: az MI egyelőre távol van attól, hogy az energiafelhasználáshoz a fenntarthatóság felől közelítsen.

Cloud & big data

Von der Leyen szerint közel sem lefutott ügy az MI-verseny

Az EU újabb 50 milliárd eurót fordít a mesterséges intelligenciával összefüggő fejlesztésekre, és egy olyan európai MI-brand felépítésére törekszik, ami az Unió határain túl is vonzó lehet.
 

EGY NAPBA SŰRÍTÜNK MINDENT, AMIT A PROJEKTMENEDZSMENTRŐL TUDNI KELL!

Ütős esettanulmányok AI-ról, agilitásról, hibrid működésről, elosztott csapatokról, kulturális gapek kezeléséről. Exkluzív információk képzésekről, munkaerőpiacról, kereseti és karrierlehetőségekről.

2025.03.18. Symbol Budapest

RÉSZLETEK »

Nem csak technológiai, hanem kulturális változást is jelent az átállás – többek között erre is tekintettel kell lenni az obszervabilitás széleskörű alkalmazása során.

a melléklet támogatója a Dynatrace

Hirdetés

Szakmai nap a jövőálló digitális infrastruktúra jegyében

A digitális infrastruktúra új kihívásai - legyen szó MI megoldásokról, szigorodó fenntarthatósági követelményekről, vagy az reziliens és szünetmentes működésről - szinte minden nagyobb szervezet életében meghatározó szerepet játszanak. Egy szakmai rendezvénysorozat segítségével közelebb kerülhetünk a megoldásokhoz és segítséget kaphatunk az új technológiák sikeres implementálásához.

Amióta a VMware a Broadcom tulajdonába került, sebesen követik egymást a szoftvercégnél a stratégiai jelentőségű változások. Mi vár az ügyfelekre? Vincze-Berecz Tibor szoftverlicenc-szakértő (IPR-Insights) írása.

Nyílt forráskód: valóban ingyenes, de használatának szigorú szabályai vannak

Különösen az early adopter vállalatoknak lehet hasznos. De különbözik ez bármiben az amúgy is megkerülhetetlen tervezéstől és pilottól?

Sok hazai cégnek kell szorosra zárni a kiberkaput

Ön sem informatikus, de munkája során az információtechnológia is gyakran befolyásolja döntéseit? Ön is informatikus, de pénzügyi és gazdasági szempontból kell igazolnia a projektek hasznosságát? Mi közérthető módon, üzleti szemmel dolgozzuk fel az infokommunikációs híreket, trendeket, megoldásokat. A Bitport tizennegyedik éve közvetít sikeresen az informatikai piac és a technológiát hasznosító döntéshozók között.
© 2010-2024 Bitport.hu Média Kft. Minden jog fenntartva.