Nem újdonság, hogy a nagy nyelvi modellek energiafaló rendszerek, de most egy texasi adatközpont-szolgáltató számszerűsítette is a fogyasztásukat.

Szemünk előtt zajlik a mesterséges intelligencia forradalma. Iparágak működése alakul át egyik napról a másikra. De mint minden technológiai fejlődésnek, ennek is vannak árnyoldalai: például az energiaigény növekedése. Azzal, hogy az MI-algoritmusokhoz sok áram kell, többé-kevésbé mindenki tisztában van. Egy texasi adatközpont-szolgáltató, a TRG Datacenters azonban számszerűsítette, hogy pontosan mit jelent ez a magas energiafogyasztás.

Az elemzés a Google-keresés alapján legnépszerűbbnek tekinthető algoritmusokra koncentrált. Ennek alapján még mindig a ChatGPT-t használják a legtöbben: átlagosan havi 16 millióan keresnek rá. A második helyen álló Bing messze lemaradt 6,7 millió lekérdezéssel. Utána pedig nagyságrendi csökkenés következik. A harmadik helyhez ugyanis elég volt 348 ezer lekérdezés, ezt egy nálunk ritkábban emlegetett algoritmus, a Jasper érte el. A Google Bard pedig csak a negyedik 201 ezres havi átlaggal. A tanulmány emellett még a Chatsonicot (158 ezer), a Google oktatási appját, a Socraticot (109 ezer) és YouChatet (20 ezer) vizsgálta.

Az elemzés hangsúlyozza, bár a számításokhoz felhasználtak akkreditált forrásokból származó adatokat – figyelembe vették többek között a modellarchitektúrát, a hardverspecifikációt, a képzési időt és az energiahatékonyságot is –, alapvetően becsült értékekről van szó. A pontos számításokat nehezítette például, hogy a Microsoft, a Google vagy az OpenAI rendszerei teljes egészében felhős infrastruktúrán, elosztott környezetben futnak.

De melyik MI a legnagyobb energiafaló?

Microsoft Bing: 7200 MWh. Jól mutatja ennek az energiaigénynek a nagyságát, hogy a Paksi Erőmű jelenlegi négy blokkjának összteljesítménye nem éri el a 2000 MW-ot. Ha ezt az energiát mondjuk lignitalapú erőművekkel (ilyen például a Mátrai Erőmű) állítanánk elő, akkor az évente több mint 20 millió tonna CO2 levegőbe engedésével járna.

A Bing GPT-4-et használ. LLM (Large Language Model) architektúrája megegyezik a GPT-3-éval, de annál 5,8-szor több paramétert kezel. Képzési ideje körülbelül öt-hat hónap, és a hozzá használt Nvidia V100 GPU-k sem éppen az energiatakarékosságukról híresek.

ChatGPT: 1248 MWh. Ha a kiszolgált lekérdezések felől nézzük, sokkal hatékonyabb, mint a Bing, hiszen közel hatszor kevesebb energiát igényel, miközben sokkal több kérést szolgál ki. GPT-3-at használ: a 175 milliárd paraméterrel és 96 réteggel rendelkező modell betanítása Nvidia V100 GPU-kon futtatva mintegy 26 nap.

A TRG Datacenters becslései szerint nagyjából ezt a fogyasztási szintet hozhatja a Jasper, Chatsonic és a YouChat is, tekintve, hogy teljes egészében az OpenAI technológiájára épülnek.

Google Bard: 312 MWh. Mint az elemzés írja, az MI-k között kiemelkedő az energiahatékonysága. Ezt mindenekelőtt annak köszönheti, hogy a Google saját fejlesztésű csipjét, a TPUv4-et használja, amely kétszer gyorsabb, ám fele annyi energiát igényel, mint a széles körben alkalmazott Nvidia V100. A Bard 137 milliárd paraméterével méretében a ChatGPT-3-hoz áll közel, így a kétszer gyorsabb csip miatt 13 nap alatt tanítható be.

A helyzet csak súlyosbodik

Ma már tömegével futnak MI-chatbotok különböző platformokon: csak a Facebook Messengeren legalább 300 ezer található, és számuk rohamosan nő. Egyes elemzők szerint hamarosan eléri a nyolcmilliárdot azoknak az eszközöknek a száma, melyek használnak valamilyen MI-asszisztenst. Ennek a globális energiafogyasztásra is jelentős hatása lesz, hiszen a TRG számai alapján nagyon úgy tűnik: az MI egyelőre távol van attól, hogy az energiafelhasználáshoz a fenntarthatóság felől közelítsen.

Cloud & big data

Big4-tanácsadó lesz a ChatGPT: az adóbevallást is megcsinálja

Megállapodott az OpenAI és a PwC: első körben a Big4 továbbértékesíti a ChatGPT-t, illetve százezer alkalmazottja használhatja a munkájához.
 
Bejelentési kötelezettségük elmulasztása, és a szabályoknak való sorozatos meg nem felelés komoly pénzbírságot vonhat maga után.

a melléklet támogatója a Balasys IT Zrt.

Amióta a VMware a Broadcom tulajdonába került, sebesen követik egymást a szoftvercégnél a stratégiai jelentőségű változások. Mi vár az ügyfelekre? Vincze-Berecz Tibor szoftverlicenc-szakértő (IPR-Insights) írása.

Nyílt forráskód: valóban ingyenes, de használatának szigorú szabályai vannak

Különösen az early adopter vállalatoknak lehet hasznos. De különbözik ez bármiben az amúgy is megkerülhetetlen tervezéstől és pilottól?

Sok hazai cégnek kell szorosra zárni a kiberkaput

Ön sem informatikus, de munkája során az információtechnológia is gyakran befolyásolja döntéseit? Ön is informatikus, de pénzügyi és gazdasági szempontból kell igazolnia a projektek hasznosságát? Mi közérthető módon, üzleti szemmel dolgozzuk fel az infokommunikációs híreket, trendeket, megoldásokat. A Bitport tizennegyedik éve közvetít sikeresen az informatikai piac és a technológiát hasznosító döntéshozók között.
© 2010-2024 Bitport.hu Média Kft. Minden jog fenntartva.