Gusti AI sustavi unose više topline u manji prostor. Tekućinsko hlađenje približava tu toplinu njezinu izvoru, ali također mijenja ormar, zgradu i plan održavanja.
Poslužitelji za umjetnu inteligenciju koncentriraju više računalne snage u svaki ormar nego što su konvencionalni podatkovni centri projektirani hladiti.
Zrak je i dalje učinkovit za mnoge sustave. Pri vrlo velikoj gustoći ormara premještanje dovoljne količine zraka postaje teško, bučno i energetski intenzivno. Tekućinsko hlađenje odvodi toplinu bliže čipovima i može podržati znatno gušću hardversku konfiguraciju.
Zato se tekućinsko hlađenje iz specijalizirane tehnike visokoučinkovitog računalstva pomiče prema širokoj primjeni u AI infrastrukturi.
AI je promijenio količinu topline na jednom mjestu
Tradicionalni poslužiteljski ormar može sadržavati mnogo relativno skromnih sustava. AI ormar može sadržavati blisko povezane akceleratore, CPU-ove, memoriju, mrežnu i napojnu opremu koji neprekidno rade pri visokom iskorištenju. Ukupna količina topline nije jedini problem. Ona je koncentrirana u malom fizičkom prostoru. Rad Open Compute Projecta prepoznaje povećanu snagu čipova, gustoću sustava i učinkovitost rada kao pokretače uvođenja tekućinskog hlađenja. Njegov trenutačni rad na hlađenju obuhvaća hladne ploče, jedinice za distribuciju rashladne tekućine, uranjanje, izmjenjivače topline na stražnjim vratima i ponovnu uporabu topline.
Zgrada i računalo više se ne mogu projektirati odvojeno.
Zašto tekućina učinkovitije odvodi toplinu
Hlađenje prenosi toplinu s elektroničkih komponenti u drugi medij i odvodi je drugamo. Zrak ima nekoliko prednosti:
- već je prisutno
- curenje nije razlog za zabrinutost
- sustavi su poznati
- a obični se poslužitelji mogu jednostavno servisirati.
Njegova je slabost niska toplinska sposobnost i gustoća. Za prijenos velike količine topline potrebni su veliki ventilatori i velike količine kondicioniranog zraka. Tekućina može prenijeti mnogo više topline kroz znatno manji protok. U sustavu s izravnim hlađenjem čipa tekućina obično ne dolazi u izravan dodir s nezaštićenom elektronikom. Prolazi kroz zatvorene hladne ploče pričvršćene na najtoplije komponente. Time se put hlađenja približava mjestu nastanka topline.
Hlađenje izravno na čipu
Hlađenje izravno na čipu najvidljiviji je pristup hlađenju umjetne inteligencije. Hladna ploča postavlja se na komponente poput GPU-a ili CPU-a. Rashladna tekućina protječe kroz kanale unutar nje i apsorbira toplinu. Zagrijana tekućina putuje do jedinice za distribuciju rashladne tekućine, odnosno CDU-a. CDU upravlja protokom, tlakom i izmjenom topline između tehnološkog rashladnog kruga i šireg rashladnog sustava objekta. Pojednostavnjeni put izgleda ovako:
- čip proizvodi toplinu
- hladna ploča je apsorbira
- rashladna tekućina iznosi je iz poslužitelja
- CDU je prenosi u krug objekta
- objekt odvodi ili ponovno upotrebljava toplinu.
Ventilatori i dalje mogu hladiti komponente koje nisu povezane s hladnim pločama. „Hlađenje tekućinom” ne znači nužno potpuno besventilatorski ormar.
Prednosti
- veliko odvođenje topline blizu izvora
- veća gustoća u ormaru
- smanjena ovisnost o premještanju golemih količina zraka
- mogućnost rada s toplom vodom
- i jednostavniji povrat topline.
Izazovi
- pumpe, cijevi, priključci i nadzor
- sprječavanje i otkrivanje curenja
- promjene u objektu
- kompatibilnost rashladne tekućine
- obuka za održavanje
- i servisnih postupaka za hardver povezan s tekućinom.
Sustav hlađenja postaje dio dizajna dostupnosti poslužitelja.
Hlađenje uranjanjem
Hlađenje uranjanjem smješta hardver u dielektričnu tekućinu koja ne provodi električnu energiju na način na koji to čini obična voda.
Toplina se izravno prenosi s komponenti na okolnu tekućinu.
Postoje dva glavna pristupa.
Jednofazno uranjanje
Tekućina ostaje u tekućem stanju i cirkulira kroz izmjenjivač topline.
Dvofazno uranjanje
Tekućina ključa pri kontroliranoj temperaturi, zatim se kondenzira i vraća u spremnik. Uranjanje može hladiti velik dio sustava i ukloniti potrebu za brojnim ventilatorima poslužitelja. Također mijenja gotovo sve u vezi s instalacijom i servisiranjem. Tehničari rade sa spremnicima umjesto s konvencionalnim poslužiteljskim ormarima. Komponente, kabeli, naljepnice i materijali moraju biti kompatibilni s tekućinom. Zamjena hardvera i kontrola onečišćenja zahtijevaju drukčije postupke. Uranjanje je učinkovito, ali nije automatski najjednostavnija opcija.
Hlađenje toplom vodom zvuči pogrešno, ali može uštedjeti energiju
Rashladna tekućina ne mora čovjeku djelovati hladno. Važno je pitanje ostaje li dovoljno hladna da apsorbira toplinu iz čipova. Neke su trenutačne AI platforme osmišljene za rad s relativno visokim temperaturama dovoda. NVIDIA, primjerice, opisuje izravno tekućinsko hlađenje toplom vodom do 45 °C za svoju platformu Vera Rubin na razini cijelog serverskog ormara. Toplija rashladna voda može smanjiti ili ukloniti potrebu za hlađenjem pomoću kompresora u pogodnim klimama jer vanjski zrak može pomoći pri odvođenju topline.
Ono također čini otpadnu toplinu korisnijom. Mlaki tok zraka teško je ponovno iskoristiti. Kontrolirani krug tople vode može pridonijeti:
- grijanje zgrada
- mreže daljinskog grijanja
- predgrijavanje potrošne tople vode
- ili industrijske procese.
Ponovna uporaba topline i dalje ovisi o lokaciji, temperaturi, infrastrukturi i obližnjem korisniku topline.
Štedi li tekućinsko hlađenje vodu?
Ne automatski. Krug tekućinskog hlađenja poslužitelja može biti zatvoren, što znači da ista rashladna tekućina neprestano kruži. Objekt i dalje može drugdje koristiti sustave s isparavanjem za odvođenje topline. Druga lokacija može koristiti suhe hladnjake i vrlo malo vode u radu, a u određenim uvjetima trošiti više električne energije. Ispravna usporedba uključuje: izvedbu rashladnog kruga, lokalnu klimu, izvor vode, sustav za odvođenje topline, električnu energiju i ponovnu uporabu topline. „Tekućinsko hlađenje” i „velika potrošnja vode” nisu istoznačnice. No tekućinsko hlađenje nije automatski ni bez vode.
Zašto zračno hlađenje neće nestati
Većina računalnog hardvera ne treba infrastrukturu za tekućinsko hlađenje na razini cijelih serverskih ormara. Zračno hlađenje i dalje je privlačno za: ormare manje gustoće, postojeće objekte, opću pohranu i umrežavanje, rubne lokacije te sustave kod kojih je jednostavnost važnija od maksimalne gustoće. Hibridni dizajni vjerojatno će i dalje biti uobičajeni. GPU-ovi i CPU-ovi mogu koristiti hladne ploče, dok se komponente manje snage i sama prostorija i dalje hlade zrakom. Izmjenjivači topline na stražnjim vratima mogu preuzeti toplinu iz zračno hlađenih ormara bez redizajniranja svakog poslužitelja. Prijelaz nije sa zračnog hlađenja svega na tekućinsko hlađenje svega. Riječ je o korištenju tekućine ondje gdje gustoća topline zračno hlađenje čini neučinkovitim ili nepraktičnim.
Operativni rizici stvarni su
Tekućinsko hlađenje stvara nove načine kvara: curenja, kvar pumpe, blokiran protok, koroziju, nekompatibilne materijale, zarobljeni zrak, kondenzaciju u loše kontroliranim sustavima i pogreške tijekom servisiranja. Dobri dizajni upotrebljavaju: nadzirane priključke za brzo odspajanje, detekciju curenja, redundantne pumpe, kontrolu tlaka, kompatibilnu rashladnu tekućinu i materijale te jasne postupke održavanja. Standard nije „tekućina nikad ne curi”. Standard je da sustav otkriva i kontrolira kvarove bez oštećenja skupe opreme ili prekida šire usluge.
Mijenja i tržište rabljenog hardvera
Hardver podatkovnih centara s tekućinskim hlađenjem može biti složeniji za ponovnu namjenu. Korišteni akcelerator može ovisiti o: određenoj hladnoj ploči, razvodniku, specifikaciji rashladne tekućine, arhitekturi napajanja i brzom međusobnom povezivanju. Konvencionalna PCIe kartica često se može premještati između kompatibilnih poslužitelja. Modul s tekućinskim hlađenjem na razini ormara može biti neodvojiv od ekonomike svoje platforme. Zbog toga identifikacija modela i kontekst sustava postaju važniji pri preprodaji.
Vrijedan objekt može biti cijela ladica ili konfiguracija ormara, a ne samo akcelerator.
Dublja promjena
Tekućinsko hlađenje ne postaje popularno zato što vodeno hlađenje izgleda napredno. Postaje nužno jer AI sustavi unose više energije i topline u manji prostor. Sustav hlađenja sada utječe na:
- koliko računalne snage stane u zgradu
- gdje se podatkovni centar može smjestiti
- koliko učinkovito radi
- kako se hardver servisira
- i može li se otpadna toplina ponovno iskoristiti.
Sljedeća generacija AI performansi ovisi o više od samih čipova. Ovisi o tome može li zgrada osigurati dovoljno energije i hlađenja. GPUsed se bavi enterprise hardverom, radnim stanicama i hardverom za podatkovne centre, uključujući specijalizirane AI akceleratore i GPU-ove.