Husté AI systémy soustřeďují více tepla do menšího prostoru. Kapalinové chlazení přibližuje odvod tohoto tepla k jeho zdroji, ale zároveň mění rack, budovu i plán údržby.
Servery s umělou inteligencí soustřeďují do každého racku více výpočetního výkonu, než pro jaký byly konvenční datové centrály navrženy z hlediska chlazení.
Vzduch zůstává účinný pro mnoho systémů. Při velmi vysoké hustotě racků je obtížné, hlučné a energeticky náročné přemístit dostatek vzduchu. Kapalinové chlazení odvádí teplo blíže k čipům a může podporovat mnohem vyšší hustotu hardwaru.
Proto se kapalinové chlazení přesouvá od specializované techniky pro vysoce výkonné výpočty k běžné infrastruktuře pro AI.
AI změnila množství tepla na jednom místě
Tradiční serverový rack může obsahovat mnoho relativně méně výkonných systémů. AI rack může obsahovat těsně propojené akcelerátory, CPU, paměti, síťová zařízení a napájecí vybavení, které nepřetržitě pracují při vysokém vytížení. Celkové množství tepla není jediným problémem. Teplo je soustředěno v malém fyzickém objemu. Práce Open Compute Project označuje vyšší příkon čipů, hustotu systémů a provozní efektivitu za faktory podporující kapalinové chlazení. Jeho současná práce v oblasti chlazení zahrnuje chladicí bloky, jednotky distribuce chladicí kapaliny, imerzní chlazení, výměníky tepla na zadních dveřích racků a opětovné využití tepla.
Budovu a počítač už nelze navrhovat odděleně.
Proč kapalina odvádí teplo účinněji
Chlazení odvádí teplo z elektronických komponent do jiného média a přenáší je jinam. Vzduch má několik výhod:
- již je přítomen
- úniky nepředstavují problém
- systémy jsou známé
- a běžné servery lze snadno servisovat.
Její nevýhodou je nízká tepelná kapacita a hustota. K přenosu značného množství tepla jsou zapotřebí velké ventilátory a velké objemy upraveného vzduchu. Kapalina dokáže přenášet mnohem více tepla při výrazně menším průtoku. Kapalina se u systému s přímým chlazením čipu běžně nedostává do přímého kontaktu s odkrytou elektronikou. Protéká uzavřenými chladicími bloky připevněnými k nejteplejším komponentám. Tím se chladicí cesta přibližuje místu, kde teplo vzniká.
Chlazení direct-to-chip
Chlazení direct-to-chip je nejviditelnějším přístupem k chlazení AI. Chladicí deska je umístěna na komponentách, jako jsou GPU nebo CPU. Kapalina proudí kanálky uvnitř desky a absorbuje teplo. Zahřátá kapalina putuje do jednotky distribuce chladicí kapaliny neboli CDU. CDU řídí průtok, tlak a výměnu tepla mezi technologickým chladicím okruhem a širším chladicím systémem objektu. Zjednodušená cesta je:
- čip produkuje teplo
- chladicí deska jej absorbuje
- chladicí kapalina jej odvádí ze serveru
- CDU jej předává do okruhu objektu
- zařízení teplo odvádí nebo znovu využívá.
Ventilátory mohou stále chladit komponenty, které nejsou připojené k chladicím deskám. „Kapalinové chlazení“ nemusí nutně znamenat rack zcela bez ventilátorů.
Výhody
- účinný odvod tepla v blízkosti zdroje
- vyšší hustota osazení racků
- menší závislost na přesunu obrovských objemů vzduchu
- možnost provozu s teplou vodou
- a snadnější využití odpadního tepla.
Výzvy
- čerpadla, potrubí, konektory a monitorování
- prevence a detekce úniků
- úpravy objektu
- kompatibilita chladicí kapaliny
- školení údržby
- a servisní postupy pro hardware připojený ke kapalinovému okruhu.
Chladicí systém se stává součástí návrhu dostupnosti serveru.
Ponorné chlazení
Ponorné chlazení umisťuje hardware do dielektrické kapaliny, která nevede elektřinu stejným způsobem jako běžná voda.
Teplo se přenáší přímo z komponent do okolní kapaliny.
Existují dva hlavní přístupy.
Jednofázové ponorné chlazení
Kapalina zůstává v kapalném stavu a cirkuluje přes výměník tepla.
Dvoufázové ponorné chlazení
Kapalina se zahřívá na řízenou teplotu, poté kondenzuje a vrací se do nádrže. Ponorné chlazení může ochladit velkou část systému a odstranit potřebu mnoha ventilátorů serveru. Zároveň mění téměř vše týkající se instalace a servisu. Technici pracují s nádržemi namísto běžných racků. Komponenty, kabely, štítky a materiály musí být kompatibilní s kapalinou. Výměna hardwaru a kontrola kontaminace vyžadují jiné postupy. Ponorné chlazení je účinné, ale automaticky neznamená nejjednodušší možnost.
Chlazení teplou vodou zní nesmyslně, ale může šetřit energii
Chladicí kapalina nemusí člověku připadat studená. Podstatné je, zda zůstává dostatečně chladná na to, aby odebírala teplo z čipů. Některé současné platformy pro AI jsou navrženy pro relativně vysoké teploty přívodní vody. Společnost NVIDIA například u své rackové platformy Vera Rubin popisuje přímé kapalinové chlazení teplou vodou s teplotou až 45 °C. Teplejší chladicí voda může ve vhodných klimatických podmínkách omezit nebo zcela odstranit potřebu chlazení kompresorem, protože s odváděním tepla může pomoci venkovní vzduch.
Také zvyšuje užitečnost odpadního tepla. Vlažný proud vzduchu se obtížně znovu využívá. Řízený okruh s teplou vodou může přispět k:
- vytápění budov
- sítě dálkového vytápění
- předehřev teplé vody pro domácnosti
- nebo průmyslové procesy.
Opětovné využití tepla stále závisí na lokalitě, teplotě, infrastruktuře a blízkém odběrateli tepla.
Šetří kapalinové chlazení vodu?
Ne automaticky. Okruh kapalinou chlazeného serveru může být uzavřený, takže stejná chladicí kapalina v něm cirkuluje opakovaně. Zařízení může jinde stále využívat odpařovací systémy k odvádění tepla. Jiná lokalita může používat suché chladiče a spotřebovávat při provozu jen málo vody, ale za určitých podmínek více elektřiny. Správné srovnání zahrnuje: návrh chladicího okruhu, místní klima, zdroj vody, systém odvádění tepla, elektřinu a opětovné využití tepla. „Kapalinové chlazení“ a „vysoká spotřeba vody“ nejsou synonyma. Kapalinové chlazení zároveň automaticky neznamená nulovou spotřebu vody.
Proč vzduchové chlazení nezmizí
Většina výpočetního hardwaru nepotřebuje kapalinovou infrastrukturu pro celé racky. Vzduchové chlazení zůstává atraktivní pro: racky s nižší hustotou, stávající zařízení, běžná úložiště a síťové prvky, edge lokality a systémy, u nichž je důležitější jednoduchost než maximální hustota. Hybridní návrhy pravděpodobně zůstanou běžné. GPU a CPU mohou používat chladicí desky, zatímco komponenty s nižší spotřebou a samotná místnost budou stále chlazeny vzduchem. Výměníky tepla na zadních dveřích racků dokážou odvádět teplo ze vzduchem chlazených racků, aniž by bylo nutné přepracovat každý server. Nejde o přechod od výhradně vzduchového k výhradně kapalinovému chlazení. Směřuje se k využívání kapaliny tam, kde hustota tepla činí vzduchové chlazení neefektivním nebo nepraktickým.
Provozní rizika jsou reálná
Kapalinové chlazení vytváří nové typy poruch: úniky, selhání čerpadla, zablokovaný průtok, korozi, nekompatibilní materiály, zachycený vzduch, kondenzaci v nedostatečně kontrolovaných systémech a chyby při servisu. Kvalitní konstrukce používají: monitorované rychlospojky, detekci úniků, redundantní čerpadla, regulaci tlaku, kompatibilní chladicí kapalinu a materiály a jasně definované postupy údržby. Standardem není „kapalina nikdy neuniká“. Jde o to, aby systém dokázal poruchy odhalit a kontrolovat, aniž by poškodil drahé vybavení nebo přerušil širší provoz.
Mění se tím i trh s použitým hardwarem
Hardware datových center chlazený kapalinou může být složitější znovu nasadit. Použitý akcelerátor může záviset na: konkrétní studené desce, rozvodném bloku, konfiguraci racku, specifikaci chladicí kapaliny, napájecí architektuře a vysokorychlostním propojení. Běžná karta PCIe se často dá přesunout mezi kompatibilními servery. Kapalinou chlazený modul v měřítku racku může být neoddělitelný od ekonomiky své platformy. Proto je při dalším prodeji důležitější identifikace modelu a kontext systému.
Cenným objektem může být kompletní konfigurace tray nebo racku, nikoli samotný akcelerátor.
Hlubší změna
Kapalinové chlazení se nestává populárním proto, že vodní chlazení působí pokročile. Stává se nezbytným, protože systémy AI umisťují více energie a tepla do menšího prostoru. Chladicí systém nyní ovlivňuje:
- kolik výpočetního výkonu se vejde do budovy
- kde může být datové centrum umístěno
- jak efektivně funguje
- jak se hardware servisuje
- a zda lze odpadní teplo znovu využít.
Další generace výkonu AI závisí na více než jen na čipech. Záleží na tom, zda budova dokáže zajistit jejich napájení a chlazení. GPUsed se zabývá podnikovým hardwarem, hardwarem pro workstationy a hardwarem pro datová centra, včetně specializovaných akcelerátorů AI a GPU.