Плътните системи за изкуствен интелект отделят повече топлина в по-малко пространство. Течното охлаждане отвежда тази топлина по-близо до източника ѝ, но също така променя шкафа, сградата и плана за поддръжка.
Сървърите за изкуствен интелект концентрират повече изчислителна мощност във всеки шкаф, отколкото традиционните центрове за данни са проектирани да охлаждат.
Въздушното охлаждане остава ефективно за много системи. При много висока плътност на шкафовете преместването на достатъчно въздух става трудно, шумно и енергоемко. Течното охлаждане отвежда топлината по-близо до чиповете и може да поддържа значително по-плътен хардуер.
Именно затова течното охлаждане преминава от специализирана техника за високопроизводителни изчисления към широко разпространена инфраструктура за изкуствен интелект.
Изкуственият интелект промени количеството топлина на едно място
Един традиционен сървърен шкаф може да съдържа много сравнително умерени като мощност системи. Един шкаф за изкуствен интелект може да съдържа тясно свързани ускорители, процесори, памет, мрежово и захранващо оборудване, работещи непрекъснато при високо натоварване. Общото количество топлина не е единственият проблем. Тя е концентрирана в малък физически обем. Работата на Open Compute Project определя увеличената мощност на чиповете, плътността на системите и ефективността на работа като двигатели за внедряването на течно охлаждане. Текущата му работа по охлаждането обхваща охлаждащи плочи, модули за разпределение на охлаждащата течност, потапяне, топлообменници на задните врати и повторно използване на топлината.
Сградата и компютърът вече не могат да се проектират отделно.
Защо течността отвежда топлината по-ефективно
Охлаждането пренася топлината от електронните компоненти към друга среда и я отвежда на друго място. Въздухът има няколко предимства:
- то вече е налично
- течовете не са повод за безпокойство
- системите са познати
- а обикновените сървъри могат лесно да се обслужват.
Недостатъкът му е ниският топлинен капацитет и плътност. Необходими са големи вентилатори и обеми кондициониран въздух, за да се отвежда значително количество топлина. Течността може да пренася много повече топлина чрез много по-малък поток. При система с директно охлаждане на чипа течността обикновено не докосва откритата електроника. Тя преминава през запечатани охлаждащи плочи, прикрепени към най-горещите компоненти. Така охлаждащият път се доближава до мястото, където се произвежда топлината.
Охлаждане директно на чипа
Охлаждането директно на чипа е най-видимият подход за охлаждане на AI системи. Студена плоча се поставя върху компоненти като GPU или CPU. Охлаждащата течност преминава през канали вътре в нея и абсорбира топлината. Загрятата течност се насочва към блок за разпределение на охлаждащата течност, или CDU. CDU контролира потока, налягането и топлообмена между технологичния охлаждащ контур и по-широката охлаждаща система на съоръжението. Опростеният път е:
- чипът генерира топлина
- студената плоча я абсорбира
- охлаждащата течност я отвежда от сървъра
- CDU я прехвърля в контура на съоръжението
- съоръжението отвежда или повторно използва топлината.
Вентилаторите все пак могат да охлаждат компоненти, които не са свързани към студени плочи. „Течно охлаждане“ не означава непременно напълно безвентилаторен стелаж.
Предимства
- ефективно отвеждане на топлината близо до източника
- по-висока плътност на стелажите
- по-малка зависимост от преместването на огромни обеми въздух
- възможност за работа с топла вода
- и по-лесно оползотворяване на топлината.
Предизвикателства
- помпи, тръби, съединители и системи за наблюдение
- предотвратяване и откриване на течове
- промени в съоръжението
- съвместимост на охлаждащата течност
- обучение за поддръжка
- и процедурите за обслужване на хардуер, свързан към течна система.
Охлаждащата система става част от плана за осигуряване на наличността на сървъра.
Охлаждане чрез потапяне
Охлаждането чрез потапяне поставя хардуера в диелектричен флуид, който не провежда електричество по начина, по който го прави обикновената вода.
Топлината се предава директно от компонентите към заобикалящия флуид.
Има два основни подхода.
Еднофазно потапяне
Флуидът остава в течно състояние и циркулира през топлообменник.
Двуфазно потапяне
Флуидът кипи при контролирана температура, след което кондензира и се връща в резервоара. Потапянето може да охлажда голяма част от системата и да премахне необходимостта от много сървърни вентилатори. То също така променя почти всичко по инсталирането и обслужването. Техниците работят с резервоари, а не с конвенционални стелажи. Компонентите, кабелите, етикетите и материалите трябва да са съвместими с флуида. Подмяната на хардуер и контролът на замърсяването изискват различни процеси. Потапянето е мощен метод, но не е автоматично най-простият вариант.
Охлаждането с топла вода звучи погрешно, но може да спести енергия
Охлаждащата течност не трябва да се усеща студена от човек. Важният въпрос е дали остава достатъчно хладна, за да поема топлина от чиповете. Някои съвременни платформи за изкуствен интелект са проектирани да работят с относително високи температури на подаване. Например NVIDIA описва директно течно охлаждане с топла вода при температура до 45°C за своята платформа Vera Rubin на ниво цял шкаф. По-топлата охлаждаща вода може да намали или елиминира нуждата от охлаждане с компресор в подходящ климат, тъй като външният въздух може да помогне за отвеждането на топлината.
То също така прави отпадната топлина по-полезна. Хладък въздушен поток е труден за повторно използване. Контролиран контур с топла вода може да допринася за:
- отопление на сгради
- топлофикационни мрежи
- предварително загряване на битова гореща вода
- или промишлени процеси.
Повторното използване на топлината все още зависи от местоположението, температурата, инфраструктурата и наличието на близък потребител на топлината.
Пести ли вода течното охлаждане?
Не автоматично. Контурът на сървър с течно охлаждане може да бъде затворен, което означава, че същата охлаждаща течност циркулира многократно. Съоръжението все пак може да използва изпарителни системи на други места за отвеждане на топлината. Друг обект може да използва сухи охладители и малко вода за експлоатацията, като при определени условия консумира повече електроенергия. Правилното сравнение включва: конструкцията на охлаждащия контур, местния климат, източника на вода, системата за отвеждане на топлината, електроенергията и повторното използване на топлината. „Течно охлаждане“ и „висока консумация на вода“ не са синоними. Също така течното охлаждане не означава автоматично липса на използване на вода.
Защо въздушното охлаждане няма да изчезне
Повечето изчислителен хардуер не се нуждае от инфраструктура за течно охлаждане на ниво цял шкаф. Въздушното охлаждане остава привлекателно за шкафове с по-ниска плътност, съществуващи съоръжения, общо предназначение за съхранение и мрежи, периферни обекти и системи, при които простотата е по-важна от максималната плътност. Хибридните конструкции вероятно ще останат широко разпространени. Графичните процесори и процесорите могат да използват студени плочи, докато компонентите с по-ниска консумация и самото помещение продължават да се охлаждат с въздух. Топлообменниците на задната врата могат да улавят топлината от шкафове с въздушно охлаждане, без да се налага всеки сървър да бъде преработван. Преходът не е от изцяло въздушно към изцяло течно охлаждане. Той е към използване на течност там, където топлинната плътност прави въздуха неефективен или непрактичен.
Оперативните рискове са реални
Течното охлаждане създава нови режими на повреда: течове, повреда на помпа, блокиран поток, корозия, несъвместими материали, задържан въздух, кондензация при лошо контролирани системи и грешки по време на обслужване. Добрите проекти използват: наблюдавани бързоразкачащи се фитинги, откриване на течове, резервирани помпи, контрол на налягането, съвместима охлаждаща течност и материали и ясни процеси за поддръжка. Стандартът не е „течността никога не изтича“. Стандартът е системата да открива и контролира повредите, без да поврежда скъпо оборудване или да прекъсва по-широката услуга.
Това променя и пазара на употребяван хардуер
Хардуерът за центрове за данни с течно охлаждане може да бъде по-труден за повторно внедряване. Използван ускорител може да зависи от: конкретна студена плоча, колектор, конфигурация на шкафа, спецификация на охлаждащата течност, архитектура на захранването и високоскоростен интерконектор. Конвенционална PCIe карта често може да се премества между съвместими сървъри. Модул с течно охлаждане в мащаба на шкаф може да бъде неразделим от икономиката на платформата си. Това означава, че идентифицирането на модела и контекстът на системата стават по-важни при препродажба.
Ценният обект може да бъде цялостната конфигурация на тавата или шкафа, а не само ускорителят.
По-дълбоката промяна
Течното охлаждане не става популярно, защото водното охлаждане изглежда модерно. То става необходимо, защото AI системите влагат повече мощност и топлина в по-малко пространство. Охлаждащата система вече влияе върху:
- колко изчислителна мощност може да се побере в една сграда
- къде може да бъде разположен център за данни
- колко ефективно работи
- как се обслужва хардуерът
- и дали отпадната топлина може да се използва повторно.
Следващото поколение AI производителност зависи от повече от чиповете. Зависи от това дали сградата може да осигури захранване и охлаждане. GPUsed работи с хардуер за предприятия, работни станции и центрове за данни, включително специализирани AI ускорители и графични процесори.