Sistemele AI dense introduc mai multă căldură într-un spațiu mai mic. Răcirea cu lichid deplasează această căldură mai aproape de sursă, dar schimbă și rackul, clădirea și planul de întreținere.
Serverele de inteligență artificială concentrează mai multă putere de calcul în fiecare rack decât au fost proiectate să răcească centrele de date convenționale.
Aerul rămâne eficient pentru multe sisteme. La densități foarte mari ale rackurilor, deplasarea unei cantități suficiente de aer devine dificilă, zgomotoasă și consumatoare de energie. Răcirea cu lichid îndepărtează căldura mai aproape de cipuri și poate susține echipamente mult mai dense.
De aceea, răcirea cu lichid trece de la o tehnică specializată de calcul de înaltă performanță către infrastructura AI obișnuită.
AI a schimbat cantitatea de căldură dintr-un singur loc
Un rack tradițional de servere poate conține multe sisteme relativ modeste. Un rack AI poate conține acceleratoare, procesoare, memorie, echipamente de rețea și echipamente de alimentare conectate strâns între ele, care funcționează continuu la un nivel ridicat de utilizare. Căldura totală nu este singura problemă. Ea este concentrată într-un volum fizic mic. Lucrările Open Compute Project identifică puterea crescută a cipurilor, densitatea sistemului și eficiența operațională drept factori care favorizează răcirea cu lichid. Lucrările sale actuale privind răcirea acoperă plăci de răcire, unități de distribuție a agentului de răcire, imersie, schimbătoare de căldură montate pe ușa din spate și reutilizarea căldurii.
Clădirea și computerul nu mai pot fi proiectate separat.
De ce lichidul elimină căldura mai eficient
Răcirea transferă căldura de la componentele electronice într-un alt mediu și o deplasează în altă parte. Aerul are mai multe avantaje:
- este deja prezent
- scurgerile nu reprezintă o problemă
- sistemele sunt familiare
- iar serverele obișnuite pot fi întreținute cu ușurință.
Dezavantajul său este capacitatea termică și densitatea reduse. Sunt necesare ventilatoare mari și volume de aer condiționat pentru a transfera cantități semnificative de căldură. Lichidul poate transporta mult mai multă căldură printr-un debit mult mai mic. În mod normal, lichidul nu intră în contact direct cu componentele electronice expuse într-un sistem direct pe cip. Acesta trece prin plăci de răcire etanșe, atașate la componentele care se încălzesc cel mai mult. Astfel, traseul de răcire ajunge mai aproape de locul în care este produsă căldura.
Răcire directă a cipului
Răcirea directă a cipului este cea mai vizibilă abordare pentru răcirea sistemelor AI. O placă rece este amplasată pe componente precum GPU-ul sau CPU-ul. Agentul de răcire circulă prin canalele din interiorul acesteia și absoarbe căldura. Lichidul încălzit se deplasează către o unitate de distribuție a agentului de răcire, sau CDU. CDU controlează debitul, presiunea și schimbul de căldură dintre circuitul de răcire tehnologic și sistemul mai larg de răcire al infrastructurii. Un traseu simplificat este:
- cipul produce căldură
- placa rece o absoarbe
- agentul de răcire o evacuează din server
- CDU o transferă în circuitul infrastructurii
- infrastructura elimină sau reutilizează căldura.
Ventilatoarele pot răci în continuare componentele care nu sunt conectate la plăci reci. „Răcit cu lichid” nu înseamnă neapărat un rack complet fără ventilatoare.
Avantaje
- eliminarea intensă a căldurii în apropierea sursei
- densitate mai mare a rackurilor
- dependență redusă de deplasarea unor volume uriașe de aer
- posibilitatea operării cu apă caldă
- și recuperarea mai ușoară a căldurii.
Provocări
- pompe, țevi, conectori și monitorizare
- prevenirea și detectarea scurgerilor
- modificări ale infrastructurii
- compatibilitatea agentului de răcire
- instruirea pentru mentenanță
- și procedurile de service pentru hardware-ul conectat la lichid.
Sistemul de răcire devine parte a proiectării disponibilității serverului.
Răcire prin imersie
Răcirea prin imersie plasează hardware-ul într-un fluid dielectric care nu conduce electricitatea așa cum o face apa obișnuită.
Căldura se transferă direct de la componente în fluidul din jur.
Există două abordări generale.
Imersie într-o singură fază
Fluidul rămâne lichid și circulă printr-un schimbător de căldură.
Imersie în două faze
Fluidul fierbe la o temperatură controlată, apoi se condensează și revine în rezervor. Imersia poate răci o mare parte a sistemului și poate elimina necesitatea multor ventilatoare de server. De asemenea, schimbă aproape totul în ceea ce privește instalarea și depanarea. Tehnicienii lucrează cu rezervoare, nu cu rackuri convenționale. Componentele, cablurile, etichetele și materialele trebuie să fie compatibile cu fluidul. Înlocuirea hardware-ului și controlul contaminării necesită procese diferite. Imersia este o soluție puternică, dar nu este automat și cea mai simplă opțiune.
Răcirea cu apă caldă pare greșită, dar poate economisi energie
Lichidul de răcire nu trebuie să se simtă rece pentru o persoană. Întrebarea relevantă este dacă rămâne suficient de rece pentru a absorbi căldura de la cipuri. Unele platforme AI actuale sunt proiectate pentru temperaturi de alimentare relativ ridicate. De exemplu, NVIDIA descrie răcirea directă cu lichid și apă caldă la până la 45°C pentru platforma sa Vera Rubin la scară de rack. Apa de răcire mai caldă poate reduce sau elimina necesitatea răcirii pe bază de compresor în climatele potrivite, deoarece aerul exterior poate contribui la evacuarea căldurii.
De asemenea, face căldura reziduală mai utilă. Un flux de aer călduț este dificil de reutilizat. Un circuit controlat cu apă caldă poate contribui la:
- încălzirea clădirilor
- rețele de termoficare
- preîncălzirea apei calde menajere
- sau procese industriale.
Reutilizarea căldurii depinde în continuare de locație, temperatură, infrastructură și de existența unui client din apropiere pentru căldură.
Răcirea cu lichid economisește apă?
Nu automat. Un circuit de server răcit cu lichid poate fi închis, ceea ce înseamnă că același agent de răcire circulă în mod repetat. Facilitatea poate utiliza în continuare sisteme evaporative în alte zone pentru evacuarea căldurii. O altă locație poate folosi răcitoare uscate și foarte puțină apă în operare, consumând însă mai multă energie electrică în anumite condiții. Comparația corectă include: proiectarea circuitului de răcire, clima locală, sursa de apă, sistemul de evacuare a căldurii, energia electrică și reutilizarea căldurii. „Răcirea cu lichid” și „consumul ridicat de apă” nu sunt sinonime. La fel, răcirea cu lichid nu este automat lipsită de consumul de apă.
De ce răcirea cu aer nu va dispărea
Majoritatea echipamentelor informatice nu necesită infrastructură de răcire cu lichid la scară de rack. Răcirea cu aer rămâne atractivă pentru: rackuri cu densitate mai mică, facilități existente, sisteme generale de stocare și rețelistică, locații edge și sisteme în cazul cărora simplitatea contează mai mult decât densitatea maximă. Este probabil ca proiectele hibride să rămână răspândite. GPU-urile și CPU-urile pot utiliza plăci reci, în timp ce componentele cu consum redus și încăperea folosesc în continuare aer. Schimbătoarele de căldură montate pe ușa din spate pot capta căldura din rackurile răcite cu aer fără reproiectarea fiecărui server. Tranziția nu este de la răcire complet cu aer la răcire complet cu lichid. Este vorba despre utilizarea lichidului acolo unde densitatea termică face răcirea cu aer ineficientă sau impracticabilă.
Riscurile operaționale sunt reale
Răcirea cu lichid creează noi moduri de defectare: scurgeri, defectarea pompei, debit blocat, coroziune, materiale incompatibile, aer prins în instalație, condens în sistemele controlate necorespunzător și greșeli în timpul întreținerii. Proiectele bune folosesc: racorduri monitorizate cu deconectare rapidă, detectarea scurgerilor, pompe redundante, controlul presiunii, lichid de răcire și materiale compatibile, precum și procese clare de întreținere. Standardul nu este „lichidul nu se scurge niciodată”. Standardul este ca sistemul să detecteze și să controleze defecțiunile fără a deteriora echipamentele scumpe sau a întrerupe serviciul general.
Schimbă și piața hardware-ului folosit
Hardware-ul pentru centre de date răcit cu lichid poate fi mai dificil de redistribuit. Un accelerator folosit poate depinde de: o placă rece specifică, un colector, un rack, specificația lichidului de răcire, arhitectura de alimentare și o interconectare de mare viteză. Un card PCIe convențional poate fi mutat adesea între servere compatibile. Un modul răcit cu lichid la nivel de rack poate fi inseparabil de economia platformei sale. Aceasta înseamnă că identificarea modelului și contextul sistemului devin mai importante la revânzare.
Obiectul valoros poate fi configurația completă a tăvii sau a rackului, nu acceleratorul în sine.
Schimbarea fundamentală
Răcirea cu lichid nu devine populară deoarece răcirea cu apă pare avansată. Devine necesară deoarece sistemele AI concentrează mai multă putere și căldură într-un spațiu mai mic. Sistemul de răcire afectează acum:
- câtă putere de calcul încape într-o clădire
- unde poate fi amplasat un centru de date
- cât de eficient funcționează
- cum este întreținut hardware-ul
- și de posibilitatea reutilizării căldurii reziduale.
Următoarea generație de performanță AI depinde de mai mult decât cipuri. Depinde de capacitatea clădirii de a le alimenta și răci. GPUsed se ocupă de hardware pentru întreprinderi, stații de lucru și centre de date, inclusiv acceleratoare și GPU-uri AI.