Dichte AI-systemen brengen meer warmte in minder ruimte. Vloeistofkoeling voert die warmte dichter bij de bron af, maar verandert ook het rack, het gebouw en het onderhoudsplan.
Servers voor kunstmatige intelligentie concentreren meer rekenkracht in elk rack dan conventionele datacenters waren ontworpen om te koelen.
Lucht blijft effectief voor veel systemen. Bij zeer hoge rackdichtheden wordt het moeilijk, lawaaierig en energie-intensief om voldoende lucht te verplaatsen. Vloeistofkoeling voert warmte dichter bij de chips af en kan veel dichtere hardware ondersteunen.
Daarom verschuift vloeistofkoeling van een gespecialiseerde techniek voor high-performance computing naar een gangbare oplossing voor AI-infrastructuur.
AI heeft de hoeveelheid warmte op één plek veranderd
Een traditioneel serverrack kan veel relatief bescheiden systemen bevatten. Een AI-rack kan nauw verbonden accelerators, CPU's, geheugen, netwerk- en stroomapparatuur bevatten die continu met een hoge benuttingsgraad werken. De totale hoeveelheid warmte is niet het enige probleem. De warmte is geconcentreerd in een klein fysiek volume. Werk van het Open Compute Project identificeert een hoger chipvermogen, een hogere systeemdichtheid en een hogere operationele efficiëntie als aanjagers van vloeistofkoeling. Het huidige koelwerk omvat coldplates, koelmiddeldistributie-eenheden, immersiekoeling, warmtewisselaars aan de achterzijde en hergebruik van warmte.
Het gebouw en de computer kunnen niet langer los van elkaar worden ontworpen.
Waarom vloeistof warmte effectiever afvoert
Koeling voert warmte van de elektronische componenten naar een ander medium en verplaatst die elders heen. Lucht heeft verschillende voordelen:
- het is al aanwezig
- lekken zijn geen punt van zorg
- systemen zijn vertrouwd
- en gewone servers eenvoudig kunnen worden onderhouden.
De zwakte ervan is de lage warmtecapaciteit en dichtheid. Er zijn grote ventilatoren en grote hoeveelheden geconditioneerde lucht nodig om aanzienlijke hoeveelheden warmte te verplaatsen. Vloeistof kan veel meer warmte via een veel kleinere stroom afvoeren. De vloeistof raakt normaal gesproken geen blootliggende elektronica in een direct-to-chip-systeem. Ze stroomt door afgesloten coldplates die aan de heetste componenten zijn bevestigd. Daardoor komt het koeltraject dichter bij de plek waar de warmte wordt geproduceerd.
Direct-to-chipkoeling
Direct-to-chip is de meest zichtbare aanpak voor AI-koeling. Een coldplate wordt op componenten zoals de GPU of CPU geplaatst. De koelvloeistof stroomt door kanalen in de coldplate en absorbeert warmte. De verwarmde vloeistof stroomt naar een koelvloeistofdistributie-eenheid, of CDU. De CDU regelt de stroming, druk en warmte-uitwisseling tussen de technologiekoellus en het bredere koelsysteem van de faciliteit. Een vereenvoudigd traject is:
- de chip warmte produceert
- de coldplate deze absorbeert
- de koelvloeistof deze uit de server afvoert
- de CDU deze naar de faciliteitslus overdraagt
- de faciliteit de warmte afvoert of hergebruikt.
Ventilatoren kunnen nog steeds componenten koelen die niet op coldplates zijn aangesloten. ‘Vloeistofgekoeld’ betekent niet noodzakelijk dat een rack volledig ventilatorloos is.
Voordelen
- grote warmteafvoer dicht bij de bron
- hogere rackdichtheid
- minder afhankelijkheid van het verplaatsen van enorme luchtvolumes
- mogelijk gebruik van warm water
- en eenvoudiger warmteterugwinning.
Uitdagingen
- pompen, leidingen, connectoren en monitoring
- lekpreventie en -detectie
- aanpassingen aan de faciliteit
- compatibiliteit met koelvloeistof
- onderhoudstraining
- en serviceprocedures voor hardware die op vloeistof is aangesloten.
Het koelsysteem wordt onderdeel van het ontwerp voor de beschikbaarheid van de server.
Immersiekoeling
Bij immersiekoeling wordt hardware in een diëlektrische vloeistof geplaatst die elektriciteit niet geleidt zoals gewoon water dat doet.
Warmte wordt rechtstreeks van componenten overgedragen aan de omringende vloeistof.
Er zijn twee brede benaderingen.
Eenfasige immersie
De vloeistof blijft vloeibaar en circuleert door een warmtewisselaar.
Twee-fasenimmersie
De vloeistof kookt bij een gecontroleerde temperatuur, condenseert vervolgens en stroomt terug naar de tank. Immersie kan een groot deel van het systeem koelen en de behoefte aan veel serverventilatoren wegnemen. Ook verandert hierdoor bijna alles aan de installatie en het onderhoud. Technici werken met tanks in plaats van conventionele racks. Componenten, kabels, labels en materialen moeten compatibel zijn met de vloeistof. Voor hardwarevervanging en verontreinigingsbeheersing zijn andere processen nodig. Immersie is krachtig, maar niet automatisch de eenvoudigste optie.
Warmwaterkoeling klinkt verkeerd, maar kan energie besparen
Koelvloeistof hoeft voor een persoon niet koud aan te voelen. De relevante vraag is of de vloeistof koel genoeg blijft om warmte van de chips op te nemen. Sommige huidige AI-platforms zijn ontworpen rond relatief hoge aanvoertemperaturen. NVIDIA beschrijft bijvoorbeeld directe vloeistofkoeling met warm water tot 45°C voor zijn platform op rackschaal, Vera Rubin. Warmer koelwater kan de behoefte aan koeling met compressoren in geschikte klimaten verminderen of elimineren, omdat buitenlucht kan helpen de warmte af te voeren.
De restwarmte wordt er ook bruikbaarder door. Een lauwe luchtstroom is moeilijk te hergebruiken. Een gecontroleerde warmwaterkring kan bijdragen aan:
- verwarming van gebouwen
- stadsverwarmingsnetten
- voorverwarming van warm tapwater
- of industriële processen.
Hergebruik van warmte hangt nog steeds af van de locatie, temperatuur, infrastructuur en een afnemer in de buurt voor de warmte.
Bespaart vloeistofkoeling water?
Niet automatisch. Een vloeistofgekoelde serverlus kan gesloten zijn, wat betekent dat dezelfde koelvloeistof steeds opnieuw circuleert. De faciliteit kan elders nog steeds verdampingssystemen gebruiken om warmte af te voeren. Een andere locatie kan droge koelers gebruiken en weinig operationeel water verbruiken, terwijl onder bepaalde omstandigheden meer elektriciteit wordt verbruikt. De juiste vergelijking omvat: het ontwerp van de koelkring, het lokale klimaat, de waterbron, het warmteafvoersysteem, elektriciteitsverbruik en hergebruik van warmte. ‘Vloeistofkoeling’ en ‘hoog waterverbruik’ zijn geen synoniemen. Vloeistofkoeling is evenmin automatisch watervrij.
Waarom luchtkoeling niet zal verdwijnen
De meeste computerhardware heeft geen vloeistofinfrastructuur op rackschaal nodig. Luchtkoeling blijft aantrekkelijk voor: racks met een lagere dichtheid, bestaande faciliteiten, algemene opslag en netwerken, edge-locaties en systemen waarbij eenvoud belangrijker is dan maximale dichtheid. Hybride ontwerpen zullen waarschijnlijk gangbaar blijven. GPU's en CPU's kunnen coldplates gebruiken, terwijl componenten met een lager vermogen en de ruimte nog steeds met lucht worden gekoeld. Warmtewisselaars aan de achterkant van racks kunnen warmte uit luchtgekoelde racks afvoeren zonder elke server opnieuw te ontwerpen. De ontwikkeling gaat niet van volledig luchtgekoeld naar volledig vloeistofgekoeld. Het gaat erom vloeistof te gebruiken waar de warmtedichtheid luchtkoeling inefficiënt of onpraktisch maakt.
De operationele risico's zijn reëel
Vloeistofkoeling brengt nieuwe storingsmogelijkheden met zich mee: lekkages, pompstoringen, geblokkeerde doorstroming, corrosie, incompatibele materialen, ingesloten lucht, condensatie in slecht gecontroleerde systemen en fouten tijdens onderhoud. Goede ontwerpen maken gebruik van: bewaakte snelkoppelingen, lekdetectie, redundante pompen, drukregeling, compatibele koelvloeistof en materialen en duidelijke onderhoudsprocessen. De norm is niet dat “vloeistof nooit lekt”. Het gaat erom dat het systeem storingen detecteert en beheerst zonder dure apparatuur te beschadigen of de bredere dienstverlening te onderbreken.
Het verandert ook de markt voor gebruikte hardware
Vloeistofgekoelde datacenterhardware kan minder eenvoudig opnieuw worden ingezet. Een gebruikte accelerator kan afhankelijk zijn van: een specifieke coldplate, manifold, rack, koelvloeistofspecificatie, stroomarchitectuur en snelle interconnect. Een conventionele PCIe-kaart kan vaak tussen compatibele servers worden verplaatst. Een vloeistofgekoelde module op rackschaal kan onlosmakelijk verbonden zijn met de economie van het platform. Daardoor worden modelidentificatie en systeemcontext belangrijker bij doorverkoop.
Het waardevolle object kan de complete tray- of rackconfiguratie zijn, niet alleen de accelerator.
De ingrijpendere verandering
Vloeistofkoeling wordt niet populair omdat waterkoeling er geavanceerd uitziet. Ze wordt noodzakelijk omdat AI-systemen meer vermogen en warmte in minder ruimte concentreren. Het koelsysteem heeft nu invloed op:
- hoeveel rekenkracht in een gebouw past
- waar een datacenter kan worden gevestigd
- hoe efficiënt deze werkt
- hoe hardware wordt onderhouden
- en of restwarmte kan worden hergebruikt.
De volgende generatie AI-prestaties draait om meer dan chips. Het hangt ervan af of het gebouw ze van stroom kan voorzien en kan koelen. GPUsed verwerkt enterprise-, workstation- en datacenterhardware, waaronder gespecialiseerde AI-versnellers en GPU's.