A sűrűn beépített AI-rendszerek több hőt termelnek kisebb helyen. A folyadékhűtés közelebb viszi ezt a hőt a forrásához, ugyanakkor az állvány, az épület és a karbantartási terv kialakítását is megváltoztatja.
A mesterségesintelligencia-szerverek állványonként több számítási teljesítményt koncentrálnak, mint amennyinek a hűtésére a hagyományos adatközpontokat tervezték.
A levegő sok rendszer esetében továbbra is hatékony. Nagyon nagy állványsűrűség mellett elegendő levegő mozgatása nehézzé, zajossá és energiaigényessé válik. A folyadékhűtés közelebb a chipekhez vezeti el a hőt, és jóval sűrűbb hardverkialakítást tehet lehetővé.
Ezért terjed a folyadékhűtés a speciális, nagy teljesítményű számítástechnikai technikától a széles körben alkalmazott AI-infrastruktúrák felé.
Az AI megváltoztatta az egy helyen jelentkező hőmennyiséget
Egy hagyományos szerverállványban sok, viszonylag szerény teljesítményű rendszer lehet. Egy AI-állványban szorosan összekapcsolt gyorsítók, CPU-k, memória, hálózati és tápegységek működhetnek folyamatosan, magas kihasználtság mellett. Nem csupán a teljes hőmennyiség jelent problémát. A hő kis fizikai térfogatban koncentrálódik. Az Open Compute Project munkája a megnövekedett chip-teljesítményt, rendszersűrűséget és működési hatékonyságot a folyadékhűtés terjedésének mozgatórugóiként azonosítja. Jelenlegi hűtési munkája a hűtőlapokra, hűtőközeg-elosztó egységekre, merülőhűtésre, hátoldali ajtós hőcserélőkre és a hő újrahasznosítására terjed ki.
Az épületet és a számítógépet többé nem lehet egymástól függetlenül megtervezni.
Miért távolítja el hatékonyabban a folyadék a hőt?
A hűtés átadja a hőt az elektronikus komponensekből egy másik közegnek, majd máshová szállítja. A levegőnek több előnye is van:
- már eleve rendelkezésre áll
- a szivárgás nem jelent problémát
- a rendszerek ismerősek
- és a hagyományos szerverek könnyen szervizelhetők.
Hátránya az alacsony hőkapacitás és sűrűség. Jelentős hőmennyiség elszállításához nagy ventilátorokra és nagy mennyiségű kondicionált levegőre van szükség. A folyadék sokkal több hőt képes elszállítani jóval kisebb áramlással. Közvetlenül a chipre irányuló rendszerben a folyadék általában nem érintkezik közvetlenül a szabadon lévő elektronikai alkatrészekkel. A legforróbb komponensekre rögzített, zárt hűtőlapokon áramlik keresztül. Így a hűtési útvonal közelebb kerül a hő keletkezési helyéhez.
Chipközvetlen hűtés
A chipközvetlen hűtés a mesterséges intelligenciához használt legszembetűnőbb hűtési megközelítés. Egy hideglemez olyan alkatrészeken helyezkedik el, mint a GPU vagy a CPU. A hűtőfolyadék a benne található csatornákon keresztül áramlik, és elnyeli a hőt. A felmelegedett folyadék egy hűtőfolyadék-elosztó egységhez, azaz CDU-hoz áramlik. A CDU szabályozza az áramlást, a nyomást, valamint a technológiai hűtőkör és a létesítmény tágabb hűtőrendszere közötti hőcserét. Az egyszerűsített útvonal:
- a chip hőt termel
- a hideglemez elnyeli
- a hűtőfolyadék elszállítja a szerverből
- a CDU átadja azt a létesítményi körnek
- a létesítmény elvezeti vagy újrahasznosítja a hőt.
A ventilátorok továbbra is hűthetik a hideglemezekhez nem csatlakoztatott alkatrészeket. A „folyadékhűtéses” rack nem feltétlenül teljesen ventilátor nélküli.
Előnyök
- nagy hőelvonás közvetlenül a forrás közelében
- nagyobb rack-sűrűség
- a hatalmas levegőmennyiségek mozgatásától való kisebb függőség
- meleg vizes üzemeltetés lehetősége
- valamint könnyebb hővisszanyerés.
Kihívások
- szivattyúk, csövek, csatlakozók és felügyelet
- szivárgásmegelőzés és -észlelés
- létesítményi módosítások
- hűtőfolyadék-kompatibilitás
- karbantartási képzés
- és a folyadékkal csatlakoztatott hardver szervizelési eljárásai.
A hűtőrendszer a szerver rendelkezésre állási tervezésének részévé válik.
Merítéses hűtés
A merítéses hűtés olyan dielektromos folyadékba helyezi a hardvert, amely nem vezeti az áramot úgy, mint a közönséges víz.
A hő közvetlenül az alkatrészekből a körülöttük lévő folyadékba kerül.
Két fő megközelítés létezik.
Egyfázisú merítés
A folyadék folyékony marad, és egy hőcserélőn keresztül kering.
Kétfázisú merítés
A folyadék szabályozott hőmérsékleten felforr, majd lecsapódik és visszakerül a tartályba. A merítés a rendszer jelentős részét képes hűteni, és szükségtelenné teheti számos szerverventilátor használatát. Emellett szinte mindent megváltoztat a telepítéssel és a szervizeléssel kapcsolatban. A technikusok hagyományos rackek helyett tartályokkal dolgoznak. Az alkatrészeknek, kábeleknek, címkéknek és anyagoknak kompatibilisnek kell lenniük a folyadékkal. A hardver cseréje és a szennyeződés ellenőrzése eltérő folyamatokat igényel. A merítés hatékony megoldás, de nem automatikusan a legegyszerűbb lehetőség.
A melegvizes hűtés furcsán hangzik, de energiát takaríthat meg
A hűtőfolyadéknak nem kell hidegnek érződnie az ember számára. A lényeg az, hogy elég hűvös maradjon ahhoz, hogy elnyelje a chipek hőjét. Egyes jelenlegi AI-platformokat viszonylag meleg előremenő hőmérsékletre terveztek. Az NVIDIA például azt írja, hogy Vera Rubin rack-szintű platformján a melegvizes, közvetlen folyadékhűtés akár 45 °C-os előremenő hőmérséklet mellett is működhet. A melegebb hűtővíz megfelelő éghajlaton csökkentheti vagy megszüntetheti a kompresszoros hűtés szükségességét, mivel a külső levegő segíthet a hő leadásában.
A hulladékhőt is hasznosabbá teszi. A langyos levegőáram nehezen hasznosítható újra. A szabályozott, melegvizes kör a következőkhöz járulhat hozzá:
- épületfűtés
- távhőhálózatok
- használati melegvíz előmelegítése
- vagy ipari folyamatok.
A hő újrahasznosítása továbbra is a helyszíntől, a hőmérséklettől, az infrastruktúrától és a hő közelben található felhasználójától függ.
Takarít meg vizet a folyadékhűtés?
Nem automatikusan. A folyadékhűtéses szerver hűtőkörének zárt rendszere lehet, ami azt jelenti, hogy ugyanaz a hűtőfolyadék kering újra és újra. A létesítmény máshol továbbra is használhat párologtató rendszereket a hő leadására. Egy másik helyszín száraz hűtőket és kevés üzem közbeni vizet használhat, miközben bizonyos körülmények között több villamos energiát fogyaszt. A helyes összehasonlításnak ki kell terjednie a következőkre: a hűtőkör kialakítása, a helyi éghajlat, a vízforrás, a hőleadó rendszer, a villamosenergia-felhasználás és a hő újrahasznosítása. A „folyadékhűtés” és a „magas vízfogyasztás” nem szinonimák. A folyadékhűtés sem jelent automatikusan vízmentességet.
Miért nem fog eltűnni a léghűtés?
A legtöbb számítástechnikai hardverhez nincs szükség rack-szintű folyadékhűtési infrastruktúrára. A léghűtés továbbra is vonzó az alacsonyabb sűrűségű rackek, a meglévő létesítmények, az általános tárolási és hálózati rendszerek, a peremhálózati helyszínek, valamint azoknak a rendszereknek az esetében, ahol az egyszerűség fontosabb a maximális sűrűségnél. A hibrid kialakítások várhatóan továbbra is elterjedtek maradnak. A GPU-k és CPU-k hideglemezeket használhatnak, miközben az alacsonyabb fogyasztású komponensek és maga a helyiség továbbra is léghűtést alkalmaznak. A hátsó ajtós hőcserélők a léghűtéses rackek hőjét is képesek elvezetni anélkül, hogy minden szervert át kellene tervezni. A változás nem a teljesen levegős rendszerektől a teljesen folyadékhűtéses rendszerekig tart. Inkább arról van szó, hogy ott használjunk folyadékot, ahol a hősűrűség miatt a levegő már nem hatékony vagy nem praktikus.
A működési kockázatok valósak
A folyadékhűtés új meghibásodási lehetőségeket teremt: szivárgás, szivattyúhiba, elzáródott áramlás, korrózió, inkompatibilis anyagok, bent rekedt levegő, nem megfelelően szabályozott rendszerekben fellépő páralecsapódás és szervizelési hibák. A jó kialakítások a következőket alkalmazzák: felügyelt gyorscsatlakozókat, szivárgásérzékelést, redundáns szivattyúkat, nyomásszabályozást, kompatibilis hűtőfolyadékot és anyagokat, valamint egyértelmű karbantartási folyamatokat. A mérce nem az, hogy „a folyadék soha nem szivárog”. Hanem az, hogy a rendszer károsodás nélkül és a szélesebb körű szolgáltatás megszakítása nélkül észleli és szabályozza a hibákat, megóvva a drága berendezéseket.
A használt hardverek piacát is megváltoztatja
A folyadékhűtéses adatközponti hardverek újratelepítése kevésbé egyértelmű lehet. Egy használt gyorsító függhet a következőktől: adott hideglemeztől, elosztócsőtől, hűtőfolyadék-specifikációtól, energiaellátási architektúrától és nagy sebességű összeköttetéstől. Egy hagyományos PCIe-kártya gyakran áthelyezhető kompatibilis szerverek között. Egy rackméretű, folyadékhűtéses modul elválaszthatatlan lehet platformjának gazdaságosságától. Ez azt jelenti, hogy az újraértékesítés során fontosabbá válik a modell azonosítása és a rendszer kontextusa.
Az értékes eszköz nem feltétlenül maga a gyorsító, hanem a teljes tálca- vagy rackkonfiguráció lehet.
A mélyebb változás
A folyadékhűtés nem azért válik népszerűvé, mert a vízhűtés fejlettnek tűnik. Azért válik szükségessé, mert az AI-rendszerek egyre több energiát és hőt sűrítenek egyre kisebb helyre. A hűtőrendszer ma már az alábbiakat is befolyásolja:
- mennyi számítási kapacitás fér el egy épületben
- hol helyezhető el egy adatközpont
- milyen hatékonyan működik
- hogyan szervizelik a hardvert
- és attól, hogy újra felhasználható-e a hulladékhő.
Az AI-teljesítmény következő generációja nem csak a chipektől függ. Attól is függ, hogy az épület képes-e árammal ellátni és lehűteni őket. A GPUsed vállalati, munkaállomás- és adatközponti hardverekkel foglalkozik, beleértve a speciális AI-gyorsítókat és GPU-kat.