Tiiviit AI-järjestelmät tuottavat enemmän lämpöä pienempään tilaan. Nestejäähdytys siirtää lämmön lähemmäs sen lähdettä, mutta se muuttaa myös telinettä, rakennusta ja huoltosuunnitelmaa.
Tekoälypalvelimet keskittävät jokaiseen telineeseen enemmän laskentatehoa kuin perinteiset datakeskukset on suunniteltu jäähdyttämään.
Ilma on edelleen tehokas ratkaisu monissa järjestelmissä. Hyvin suurilla teline-tiheyksillä riittävän ilmamäärän siirtäminen muuttuu vaikeaksi, meluisaksi ja energiaintensiiviseksi. Nestejäähdytys siirtää lämmön pois lähempää siruja ja mahdollistaa paljon tiheämmän laitteiston.
Siksi nestejäähdytys on siirtymässä erikoistuneesta suurteholaskennan tekniikasta kohti valtavirran AI-infrastruktuuria.
AI muutti yhteen paikkaan kertyvän lämmön määrää
Perinteisessä palvelintelineessä voi olla useita suhteellisen vaatimattomia järjestelmiä. AI-telineessä voi olla tiiviisti yhdistettyjä kiihdyttimiä, suorittimia, muistia, verkkolaitteita ja virtalaitteita, jotka toimivat jatkuvasti lähes täydellä käyttöasteella. Ongelma ei ole ainoastaan kokonaislämpö. Se on keskittynyt pieneen fyysiseen tilaan. Open Compute Projectin työssä sirujen kasvaneen tehonkulutuksen, järjestelmätiheyden ja käyttötehokkuuden tunnistetaan edistävän nestejäähdytystä. Sen nykyinen jäähdytystyö kattaa kylmälevyt, jäähdytysnesteen jakeluyksiköt, upotusjäähdytyksen, takaovien lämmönvaihtimet ja lämmön uudelleenkäytön.
Rakennusta ja tietokonetta ei enää voida suunnitella erillään.
Miksi neste poistaa lämpöä tehokkaammin
Jäähdytys siirtää lämpöä elektroniikkakomponenteista toiseen väliaineeseen ja kuljettaa sen muualle. Ilmalla on useita etuja:
- se on jo valmiiksi käytössä
- vuodot eivät aiheuta huolta
- järjestelmät ovat tuttuja
- ja tavallisia palvelimia voidaan huoltaa helposti.
Sen heikkoutena ovat alhainen lämpökapasiteetti ja tiheys. Suurten lämpömäärien siirtämiseen tarvitaan suuria tuulettimia ja runsaasti ilmastoitua ilmaa. Neste voi siirtää huomattavasti enemmän lämpöä paljon pienemmällä virtauksella. Neste ei yleensä kosketa paljaita elektroniikkakomponentteja suoraan komponenttijäähdytyksessä. Se kulkee kuumimpiin komponentteihin kiinnitettyjen suljettujen kylmälevyjen läpi. Näin jäähdytysreitti kulkee lähempänä lämmön syntypaikkaa.
Suoraan sirulle kohdistuva jäähdytys
Suoraan sirulle kohdistuva jäähdytys on näkyvin tekoälyjäähdytyksen lähestymistapa. Kylmälevy asennetaan esimerkiksi näytönohjaimen tai suorittimen päälle. Jäähdytysneste virtaa sen sisällä olevissa kanavissa ja absorboi lämpöä. Kuumentunut neste kulkee jäähdytysnesteen jakeluyksikköön eli CDU:hun. CDU säätelee teknologiajäähdytyskierron ja laitoksen laajemman jäähdytysjärjestelmän välistä virtausta, painetta ja lämmönvaihtoa. Yksinkertaistettu reitti on seuraava:
- siru tuottaa lämpöä
- kylmälevy absorboi sen
- jäähdytysneste kuljettaa sen ulos palvelimesta
- CDU siirtää sen laitoksen kiertoon
- tilasta riippuen laitos poistaa lämmön tai käyttää sen uudelleen.
Tuulettimet voivat edelleen jäähdyttää komponentteja, joita ei ole liitetty kylmälevyihin. ”Nestejäähdytteinen” ei välttämättä tarkoita täysin tuulettimetonta räkkiä.
Edut
- tehokas lämmönpoisto lähellä lämmönlähdettä
- suurempi räkkitiheys
- riippuvuuden väheneminen valtavien ilmamäärien siirtämisestä
- mahdollisuus lämpimän veden käyttöön
- ja helpompi lämmön talteenotto.
Haasteet
- pumput, putket, liittimet ja valvonta
- vuotojen ehkäisy ja havaitseminen
- tilamuutokset
- jäähdytysnesteen yhteensopivuus
- huoltokoulutus
- ja nesteeseen kytketyn laitteiston huoltomenettelyt.
Jäähdytysjärjestelmästä tulee osa palvelimen käytettävyyssuunnittelua.
Upotusjäähdytys
Upotusjäähdytyksessä laitteisto sijoitetaan dielektriseen nesteeseen, joka ei johda sähköä tavallisen veden tavoin.
Lämpö siirtyy suoraan komponenteista niitä ympäröivään nesteeseen.
Lähestymistapoja on kaksi päätyyppiä.
Yksivaiheinen upotusjäähdytys
Neste pysyy nestemäisenä ja kiertää lämmönvaihtimen kautta.
Kaksivaiheinen upotusjäähdytys
Neste kiehuu säädellyssä lämpötilassa, tiivistyy ja palaa sitten säiliöön. Upotusjäähdytys voi jäähdyttää suuren osan järjestelmästä ja poistaa monien palvelintuuletinten tarpeen. Se muuttaa myös lähes kaiken asennuksessa ja huollossa. Teknikot työskentelevät perinteisten räkkiä sijaan säiliöiden kanssa. Komponenttien, kaapeleiden, tarrojen ja materiaalien on oltava yhteensopivia nesteen kanssa. Laitteiston vaihtaminen ja epäpuhtauksien hallinta edellyttävät erilaisia prosesseja. Upotusjäähdytys on tehokas ratkaisu, mutta se ei automaattisesti ole yksinkertaisin vaihtoehto.
Lämminvesijäähdytys kuulostaa väärältä, mutta voi säästää energiaa
Jäähdytysnesteen ei tarvitse tuntua ihmisestä kylmältä. Olennaista on, että se pysyy riittävän viileänä sitomaan lämpöä siruista. Jotkin nykyiset tekoälyalustat on suunniteltu suhteellisen lämpimille menoveden lämpötiloille. NVIDIA kertoo esimerkiksi Vera Rubin -telinealustan lämpimän veden suorasta nestejäähdytyksestä, jossa menoveden lämpötila voi olla enintään 45 °C. Lämpimämpi jäähdytysvesi voi sopivissa ilmastoissa vähentää kompressoripohjaisen jäähdytyksen tarvetta tai poistaa sen kokonaan, koska ulkoilma voi auttaa siirtämään lämmön pois.
Se tekee myös hukkalämmöstä hyödyllisempää. Haaleaa ilmavirtaa on vaikea hyödyntää uudelleen. Hallittu lämminvesikierto voi osallistua seuraaviin käyttökohteisiin:
- rakennusten lämmitykseen
- kaukolämpöverkkoihin
- käyttöveden esilämmitykseen
- tai teollisuusprosesseihin.
Lämmön uudelleenkäyttö riippuu edelleen sijainnista, lämpötilasta, infrastruktuurista ja lähellä olevasta lämmön käyttäjästä.
Säästääkö nestejäähdytys vettä?
Ei automaattisesti. Nestejäähdytteisen palvelimen kierto voi olla suljettu, jolloin sama jäähdytysneste kiertää toistuvasti. Laitos voi silti käyttää muualla haihdutusjärjestelmiä lämmön poistamiseen. Toinen kohde voi käyttää kuivajäähdyttimiä ja kuluttaa toiminnassa vain vähän vettä, mutta tietyissä olosuhteissa enemmän sähköä. Oikeassa vertailussa huomioidaan jäähdytyskierron rakenne, paikallinen ilmasto, veden lähde, lämmönpoistojärjestelmä, sähkö sekä lämmön uudelleenkäyttö. ”Nestejäähdytys” ja ”suuri vedenkulutus” eivät ole synonyymeja. Nestejäähdytys ei myöskään automaattisesti tarkoita vedetöntä ratkaisua.
Miksi ilmajäähdytys ei katoa
Suurin osa laskentainfrastruktuurista ei tarvitse telinekohtaista nestejäähdytysinfrastruktuuria. Ilmajäähdytys on edelleen houkutteleva vaihtoehto harvemmin täytetyille telineille, olemassa oleviin tiloihin, yleiseen tallennukseen ja verkkolaitteisiin, reunakohteisiin sekä järjestelmiin, joissa yksinkertaisuus on tärkeämpää kuin suurin mahdollinen tiheys. Hybridiratkaisut pysyvät todennäköisesti yleisinä. Grafiikkasuorittimissa ja suorittimissa voidaan käyttää kylmälevyjä, kun taas pienempitehoiset komponentit ja tila jäähdytetään edelleen ilmalla. Takaovilämmönvaihtimet voivat ottaa talteen ilmajäähdytteisten telineiden lämmön ilman, että jokaista palvelinta tarvitsee suunnitella uudelleen. Siirtymä ei ole kaikesta ilmasta kaikkeen nesteeseen. Tavoitteena on käyttää nestettä siellä, missä lämpötiheys tekee ilmasta tehottoman tai epäkäytännöllisen jäähdytysaineen.
Käytön riskit ovat todellisia
Nestejäähdytys tuo mukanaan uusia vikatilanteita: vuodot, pumpun vikaantuminen, virtauksen tukkeutuminen, korroosio, yhteensopimattomat materiaalit, järjestelmään jäänyt ilma, huonosti hallittujen järjestelmien kondensaatio ja huoltovirheet. Hyvissä ratkaisuissa käytetään valvottuja pikaliittimiä, vuotojen tunnistusta, redundantteja pumppuja, paineensäätöä, yhteensopivaa jäähdytysnestettä ja materiaaleja sekä selkeitä huoltoprosesseja. Tavoitteena ei ole, että ”neste ei koskaan vuoda”. Tavoitteena on, että järjestelmä havaitsee ja hallitsee vikatilanteet vahingoittamatta kalliita laitteita tai keskeyttämättä laajempaa palvelua.
Se muuttaa myös käytetyn laitteiston markkinoita
Nestejäähdytteisiä datakeskuslaitteistoja voi olla vaikeampi ottaa uudelleen käyttöön. Käytetty kiihdytin voi riippua tietystä kylmälevystä, jakotukista, telineestä, jäähdytysnesteen määrityksestä, sähkönsyöttöarkkitehtuurista ja nopeasta liitännästä. Tavallinen PCIe-kortti voidaan usein siirtää yhteensopivien palvelinten välillä. Räkkitason nestejäähdytteinen moduuli voi olla erottamaton alustansa taloudellisesta kokonaisuudesta. Siksi mallin tunnistaminen ja järjestelmäkonteksti ovat jälleenmyynnissä entistä tärkeämpiä.
Arvokas kohde voi olla koko tarjotin- tai räkkikokoonpano, ei pelkkä kiihdytin.
Syvempi muutos
Nestejäähdytys ei yleisty siksi, että vesijäähdytys näyttää edistykselliseltä. Siitä on tulossa välttämätöntä, koska tekoälyjärjestelmät tuottavat enemmän tehoa ja lämpöä pienempään tilaan. Jäähdytysjärjestelmä vaikuttaa nyt seuraaviin:
- kuinka paljon laskentakapasiteettia rakennukseen mahtuu
- minne datakeskus voidaan sijoittaa
- kuinka tehokkaasti se toimii
- miten laitteistoa huolletaan
- ja siitä, voidaanko hukkalämpöä käyttää uudelleen.
Tekoälyn suorituskyvyn seuraava sukupolvi riippuu muustakin kuin siruista. Se riippuu siitä, pystyykö rakennus tuottamaan niille riittävästi sähköä ja jäähdyttämään ne. GPUsed käsittelee yritys-, työasema- ja datakeskuslaitteistoja, mukaan lukien erikoistuneet tekoälykiihdyttimet ja grafiikkasuorittimet.