Husté AI systémy sústreďujú viac tepla do menšieho priestoru. Kvapalinové chladenie odvádza toto teplo bližšie k jeho zdroju, ale mení aj rack, budovu a plán údržby.
Servery s umelou inteligenciou sústreďujú do každého racku viac výpočtového výkonu, než na aký boli navrhnuté konvenčné dátové centrá z hľadiska chladenia.
Vzduch je naďalej účinný pre mnohé systémy. Pri veľmi vysokej hustote rackov je presun dostatočného množstva vzduchu náročný, hlučný a energeticky intenzívny. Kvapalinové chladenie odvádza teplo bližšie k čipom a môže podporiť oveľa vyššiu hustotu hardvéru.
Preto sa kvapalinové chladenie presúva od špecializovanej techniky vysokovýkonných počítačov k bežnej infraštruktúre pre AI.
AI zmenila množstvo tepla na jednom mieste
Tradičný serverový rack môže obsahovať mnoho pomerne nenáročných systémov. AI rack môže obsahovať tesne prepojené akcelerátory, CPU, pamäte, sieťové a napájacie zariadenia, ktoré nepretržite pracujú pri vysokom vyťažení. Celkové množstvo tepla nie je jediným problémom. Je sústredené v malom fyzickom objeme. Práca projektu Open Compute Project identifikuje zvýšený výkon čipov, hustotu systémov a prevádzkovú efektívnosť ako faktory podporujúce kvapalinové chladenie. Jeho súčasná práca v oblasti chladenia zahŕňa chladiace platne, jednotky distribúcie chladiacej kvapaliny, ponorné chladenie, výmenníky tepla na zadných dverách rackov a opätovné využitie tepla.
Budovu a počítač už nemožno navrhovať oddelene.
Prečo kvapalina odvádza teplo účinnejšie
Chladenie prenáša teplo z elektronických komponentov do iného média a odvádza ho inam. Vzduch má niekoľko výhod:
- už je prítomná
- úniky nie sú dôvodom na obavy
- systémy sú známe
- a bežné servery sa dajú ľahko servisovať.
Jeho slabinou je nízka tepelná kapacita a hustota. Na odvedenie značného množstva tepla sú potrebné veľké ventilátory a veľké objemy upraveného vzduchu. Kvapalina dokáže preniesť oveľa viac tepla pri oveľa menšom prietoku. V systéme s priamym chladením čipu sa kvapalina bežne nedostáva do priameho kontaktu s odkrytou elektronikou. Preteká cez utesnené chladiace platne pripevnené k najteplejším komponentom. Tým sa chladiaca cesta približuje k miestu, kde teplo vzniká.
Priame chladenie čipu
Priame chladenie čipu je najviditeľnejším prístupom k chladeniu umelej inteligencie. Studená doska sa nachádza na komponentoch, ako sú GPU alebo CPU. Chladiaca kvapalina prúdi kanálikmi vo vnútri dosky a absorbuje teplo. Zahriata kvapalina putuje do jednotky distribúcie chladiacej kvapaliny alebo CDU. CDU riadi prietok, tlak a výmenu tepla medzi technologickým chladiacim okruhom a širším chladiacim systémom prevádzky. Zjednodušený priebeh je:
- čip produkuje teplo
- studená doska ho absorbuje
- chladiaca kvapalina ho odvádza zo servera
- CDU ho prenáša do okruhu prevádzky
- zariadenie teplo odvádza alebo opätovne využíva.
Ventilátory môžu stále chladiť komponenty, ktoré nie sú pripojené k studeným doskám. „Kvapalinou chladený“ nemusí nevyhnutne znamenať rack úplne bez ventilátorov.
Výhody
- účinný odvod tepla v blízkosti zdroja
- vyššia hustota rackov
- menšia závislosť od presúvania obrovských objemov vzduchu
- možnosť prevádzky s teplou vodou
- a jednoduchšia rekuperácia tepla.
Výzvy
- čerpadlá, potrubia, konektory a monitorovanie
- prevencia a detekcia únikov
- úpravy prevádzky
- kompatibilita chladiacej kvapaliny
- školenie údržby
- a servisné postupy pre hardvér pripojený na kvapalinové chladenie.
Chladiaci systém sa stáva súčasťou návrhu dostupnosti servera.
Ponorné chladenie
Ponorné chladenie umiestňuje hardvér do dielektrickej kvapaliny, ktorá nevedie elektrinu tak ako bežná voda.
Teplo sa prenáša priamo z komponentov do okolitej kvapaliny.
Existujú dva hlavné prístupy.
Jednofázové ponorné chladenie
Kvapalina zostáva v kvapalnom stave a cirkuluje cez výmenník tepla.
Dvojfázové ponorné chladenie
Kvapalina vrie pri regulovanej teplote, potom kondenzuje a vracia sa do nádrže. Ponorné chladenie môže ochladzovať veľkú časť systému a odstrániť potrebu mnohých ventilátorov servera. Mení tiež takmer všetko, čo sa týka inštalácie a servisu. Technici pracujú s nádržami namiesto bežných rackov. Komponenty, káble, štítky a materiály musia byť kompatibilné s kvapalinou. Výmena hardvéru a kontrola kontaminácie si vyžadujú odlišné postupy. Ponorné chladenie je výkonné, ale automaticky neznamená najjednoduchšiu možnosť.
Chladenie teplou vodou znie nesprávne, ale môže šetriť energiu
Chladiaca kvapalina nemusí byť pre človeka na dotyk studená. Dôležité je, či zostáva dostatočne chladná na odvádzanie tepla z čipov. Niektoré súčasné platformy pre AI sú navrhnuté na relatívne vysoké teploty prívodu. Spoločnosť NVIDIA napríklad opisuje priame kvapalinové chladenie teplou vodou s teplotou až 45 °C pre svoju rackovú platformu v mierke rackov Vera Rubin. Teplejšia chladiaca voda môže vo vhodných klimatických podmienkach znížiť alebo úplne odstrániť potrebu chladenia pomocou kompresora, pretože pri odvádzaní tepla môže pomôcť vonkajší vzduch.
Zároveň zvyšuje využiteľnosť odpadového tepla. Vlažný prúd vzduchu sa opätovne využíva ťažko. Regulovaný okruh teplej vody môže prispieť k:
- vykurovanie budov
- siete diaľkového vykurovania
- predhrievanie teplej vody v domácnostiach
- alebo priemyselné procesy.
Opätovné využitie tepla stále závisí od lokality, teploty, infraštruktúry a blízkeho odberateľa tepla.
Šetrí kvapalinové chladenie vodu?
Nie automaticky. Okruh kvapalinového chladenia servera môže byť uzavretý, čo znamená, že rovnaká chladiaca kvapalina v ňom opakovane cirkuluje. Zariadenie môže na odvádzanie tepla inde stále používať odparovacie systémy. Iná lokalita môže používať suché chladiče a spotrebúvať málo vody počas prevádzky, no za určitých podmienok spotrebovať viac elektriny. Správne porovnanie zahŕňa: konštrukciu chladiaceho okruhu, miestne podnebie, zdroj vody, systém odvádzania tepla, elektrinu a opätovné využitie tepla. „Kvapalinové chladenie“ a „vysoká spotreba vody“ nie sú synonymá. Rovnako neplatí, že kvapalinové chladenie automaticky nevyužíva vodu.
Prečo chladenie vzduchom nezmizne
Väčšina výpočtového hardvéru nepotrebuje kvapalinovú infraštruktúru v mierke rackov. Chladenie vzduchom zostáva atraktívne pre: racky s nižšou hustotou, existujúce prevádzky, všeobecné úložiská a sieťové zariadenia, edge lokality a systémy, pri ktorých je dôležitejšia jednoduchosť než maximálna hustota. Hybridné návrhy pravdepodobne zostanú bežné. GPU a CPU môžu používať studené platne, zatiaľ čo komponenty s nižším výkonom a samotná miestnosť sa budú naďalej chladiť vzduchom. Výmenníky tepla na zadných dverách rackov dokážu zachytávať teplo z rackov chladených vzduchom bez nutnosti prepracovať každý server. Nejde o prechod z úplného chladenia vzduchom na úplné chladenie kvapalinou. Ide o používanie kvapaliny tam, kde hustota tepla spôsobuje, že chladenie vzduchom je neefektívne alebo nepraktické.
Prevádzkové riziká sú reálne
Kvapalinové chladenie prináša nové typy porúch: úniky, zlyhanie čerpadla, zablokovaný prietok, koróziu, nekompatibilné materiály, zachytený vzduch, kondenzáciu v nedostatočne regulovaných systémoch a chyby pri servise. Kvalitné návrhy používajú: monitorované rýchlospojky, detekciu únikov, redundantné čerpadlá, reguláciu tlaku, kompatibilnú chladiacu kvapalinu a materiály a jasné postupy údržby. Štandardom nie je tvrdenie, že „kvapalina nikdy neunikne“. Ide o to, aby systém odhalil a zvládol poruchy bez poškodenia drahého zariadenia alebo prerušenia širšej služby.
Mení to aj trh s použitým hardvérom
Hardvér dátových centier chladený kvapalinou môže byť menej jednoduché opätovne nasadiť. Použitý akcelerátor môže závisieť od: konkrétnej studenej platne, rozdeľovača, špecifikácie chladiacej kvapaliny, architektúry napájania a vysokorýchlostného prepojenia. Bežná karta PCIe sa často dá premiestniť medzi kompatibilnými servermi. Kvapalinou chladený modul v mierke racku môže byť neoddeliteľný od ekonomiky svojej platformy. To znamená, že identifikácia modelu a kontext systému sú pri ďalšom predaji dôležitejšie.
Hodnotným objektom môže byť úplná konfigurácia zásuvnej jednotky alebo racku, nie samotný akcelerátor.
Hlbšia zmena
Kvapalinové chladenie sa nestáva populárnym preto, že chladenie vodou vyzerá pokrokovo. Stáva sa nevyhnutným, pretože systémy AI umiestňujú viac energie a tepla do menšieho priestoru. Chladiaci systém teraz ovplyvňuje:
- koľko výpočtového výkonu sa zmestí do budovy
- kde môže byť dátové centrum umiestnené
- ako efektívne funguje
- ako sa hardvér servisuje
- a od toho, či sa odpadové teplo dá znovu využiť.
Ďalšia generácia výkonu AI závisí od viac než len od čipov. Závisí od toho, či budova dokáže zabezpečiť ich napájanie a chladenie. GPUsed sa zaoberá podnikovým hardvérom, pracovnými stanicami a hardvérom pre dátové centrá vrátane špecializovaných akcelerátorov a GPU pre AI.