Täta AI-system avger mer värme på mindre utrymme. Vätskekylning transporterar bort värmen närmare källan, men förändrar också racket, byggnaden och underhållsplanen.
Servrar för artificiell intelligens koncentrerar mer beräkningskraft i varje rack än vad konventionella datacenter var utformade för att kyla.
Luft är fortfarande effektivt för många system. Vid mycket hög rackdensitet blir det svårt, bullrigt och energikrävande att flytta tillräckligt med luft. Vätskekylning transporterar bort värmen närmare chipen och kan stödja betydligt tätare hårdvara.
Det är därför vätskekylning går från att vara en specialiserad teknik för högpresterande datorsystem till att bli en etablerad del av AI-infrastruktur.
AI förändrade mängden värme på en plats
Ett traditionellt serverrack kan innehålla många relativt måttliga system. Ett AI-rack kan innehålla tätt sammankopplade acceleratorer, processorer, minne, nätverks- och strömförsörjningsutrustning som kontinuerligt arbetar med hög belastning. Den totala värmemängden är inte det enda problemet. Den är koncentrerad till en liten fysisk volym. Open Compute Projects arbete identifierar ökad chipströmförbrukning, systemdensitet och driftseffektivitet som drivkrafter för vätskekylning. Det aktuella kylprojektet omfattar kylplattor, enheter för distribution av kylvätska, immersion, värmeväxlare vid bakdörren och återanvändning av värme.
Byggnaden och datorn kan inte längre utformas separat.
Varför vätska avlägsnar värme effektivare
Kylning överför värme från de elektroniska komponenterna till ett annat medium och transporterar den någon annanstans. Luft har flera fördelar:
- det finns redan på plats
- läckor är inget problem
- systemen är välbekanta
- och vanliga servrar kan servas enkelt.
Dess svaghet är låg värmekapacitet och låg densitet. Stora fläktar och stora volymer tempererad luft behövs för att transportera bort betydande mängder värme. Vätska kan transportera betydligt mer värme genom ett mycket mindre flöde. Vätskan kommer normalt inte i direkt kontakt med exponerad elektronik i ett direct-to-chip-system. Den passerar genom förseglade kylplattor som är fästa vid de hetaste komponenterna. Det för kylvägen närmare platsen där värmen produceras.
Direct-to-chip-kylning
Direct-to-chip-kylning är den mest synliga metoden för AI-kylning. En kallplatta sitter på komponenter som GPU:n eller CPU:n. Kylvätska strömmar genom kanaler inuti den och absorberar värme. Den uppvärmda vätskan leds till en kylvätskefördelningsenhet, eller CDU. CDU:n styr flöde, tryck och värmeväxling mellan teknikens kylkrets och anläggningens övergripande kylsystem. En förenklad väg är:
- chippet producerar värme
- kallplattan absorberar den
- kylvätskan leder bort den från servern
- CDU:n överför den till anläggningens krets
- anläggningen avleder eller återanvänder värmen.
Fläktar kan fortfarande kyla komponenter som inte är anslutna till kallplattor. ”Vätskekyld” betyder inte nödvändigtvis ett helt fläktfritt rack.
Fördelar
- effektiv värmebortförsel nära källan
- högre rackdensitet
- minskat beroende av att flytta enorma luftvolymer
- möjlighet till drift med varmt vatten
- och enklare värmeåtervinning.
Utmaningar
- pumpar, rör, anslutningar och övervakning
- förebyggande och upptäckt av läckor
- förändringar av anläggningen
- kompatibilitet med kylvätskan
- underhållsutbildning
- och serviceprocedurer för vätskeansluten maskinvara.
Kylsystemet blir en del av serverns tillgänglighetsdesign.
Immersionkylning
Immersionkylning placerar maskinvara i en dielektrisk vätska som inte leder elektricitet på samma sätt som vanligt vatten.
Värme överförs direkt från komponenterna till den omgivande vätskan.
Det finns två huvudsakliga metoder.
Enfas-immersion
Vätskan förblir flytande och cirkulerar genom en värmeväxlare.
Tvåfas-immersion
Vätskan kokar vid en kontrollerad temperatur, kondenseras sedan och återförs till tanken. Immersionkylning kan kyla en stor del av systemet och minska behovet av många serverfläktar. Den förändrar också nästan allt när det gäller installation och service. Tekniker arbetar med tankar i stället för konventionella rack. Komponenter, kablar, etiketter och material måste vara kompatibla med vätskan. Maskinvarubyten och kontroll av föroreningar kräver andra processer. Immersionkylning är kraftfull, men är inte automatiskt det enklaste alternativet.
Varmvattenkylning låter fel, men kan spara energi
Kylvätska behöver inte kännas kall för en person. Den relevanta frågan är om den förblir tillräckligt sval för att absorbera värme från kretsarna. Vissa aktuella AI-plattformar är utformade kring relativt varma framledningstemperaturer. NVIDIA beskriver till exempel direkt vätskekylning med varmt vatten på upp till 45 °C för sin rackplattform i Vera Rubin-serien. Varmare kylvatten kan minska eller eliminera behovet av kompressorbaserad kylning i lämpliga klimat, eftersom uteluften kan bidra till att avleda värmen.
Det gör också spillvärmen mer användbar. En ljummen luftström är svår att återanvända. En kontrollerad slinga med varmt vatten kan bidra till:
- uppvärmning av byggnader
- fjärrvärmenät
- förvärmning av tappvarmvatten
- eller industriella processer.
Återanvändning av värme beror fortfarande på plats, temperatur, infrastruktur och på att det finns en kund i närheten för värmen.
Sparar vätskekylning vatten?
Inte automatiskt. En vätskekyld serverslinga kan vara sluten, vilket innebär att samma kylvätska cirkulerar upprepade gånger. Anläggningen kan fortfarande använda evaporativa system på andra håll för att avleda värme. En annan anläggning kan använda torrkylare och mycket lite vatten i driften, men under vissa förhållanden förbruka mer elektricitet. En korrekt jämförelse omfattar: kylslingans utformning, lokalt klimat, vattenkälla, värmeavledningssystem, elektricitet och återanvändning av värme. ”Vätskekylning” och ”hög vattenförbrukning” är inte synonymer. Vätskekylning är inte heller automatiskt vattenfri.
Varför luftkylning inte kommer att försvinna
De flesta datorhårdvarusystem behöver inte vätskekylning på racknivå. Luftkylning är fortfarande attraktivt för: rack med lägre densitet, befintliga anläggningar, allmän lagring och nätverk, edge-anläggningar samt system där enkelhet är viktigare än maximal densitet. Hybridlösningar kommer sannolikt att förbli vanliga. GPU:er och CPU:er kan använda kylplattor, medan komponenter med lägre effektförbrukning och själva rummet fortfarande kyls med luft. Värmeväxlare för rackens baksida kan fånga upp värme från luftkylda rack utan att varje server behöver byggas om. Förändringen går inte från enbart luft till enbart vätska. Det handlar om att använda vätska där värmetätheten gör luftkylning ineffektiv eller opraktisk.
De operativa riskerna är verkliga
Vätskekylning skapar nya felmoder: läckor, pumphaveri, blockerat flöde, korrosion, inkompatibla material, instängd luft, kondens i system med bristande styrning och misstag vid service. Bra konstruktioner använder: övervakade snabbkopplingar, läckagedetektering, redundanta pumpar, tryckreglering, kompatibel kylvätska och kompatibla material samt tydliga underhållsprocesser. Standarden är inte att ”vätska aldrig läcker”. Den är att systemet upptäcker och hanterar fel utan att skada dyr utrustning eller avbryta den övergripande tjänsten.
Det förändrar även marknaden för begagnad hårdvara
Vätskekyld datacenterhårdvara kan vara mindre enkel att återanvända i andra sammanhang. En begagnad accelerator kan vara beroende av: en specifik kallplatta, ett fördelningsrör, en rackkonfiguration, en kylvätskespecifikation, en strömförsörjningsarkitektur och en höghastighetsförbindelse. Ett konventionellt PCIe-kort kan ofta flyttas mellan kompatibla servrar. En vätskekyld modul i rackskala kan vara oskiljaktig från plattformens ekonomi. Det innebär att modellidentifiering och systemkontext blir viktigare vid vidareförsäljning.
Det värdefulla objektet kan vara den kompletta konfigurationen av en släde eller ett rack, inte bara acceleratorn.
Den djupare förändringen
Vätskekylning blir inte populär för att vattenkylning ser avancerad ut. Den blir nödvändig eftersom AI-system placerar mer effekt och värme på mindre utrymme. Kylsystemet påverkar nu:
- hur mycket beräkningskapacitet som ryms i en byggnad
- var ett datacenter kan placeras
- hur effektivt den arbetar
- hur hårdvaran underhålls
- och på om spillvärmen kan återanvändas.
Nästa generation av AI-prestanda beror på mer än bara kretsar. Den beror på om byggnaden kan förse dem med ström och kyla dem. GPUsed hanterar hårdvara för företag, arbetsstationer och datacenter, inklusive specialiserade AI-acceleratorer och GPU:er.