Dichte KI-Systeme bringen mehr Wärme auf weniger Raum. Flüssigkeitskühlung führt diese Wärme näher an ihren Entstehungsort ab, verändert aber auch das Rack, das Gebäude und den Wartungsplan.
Server mit künstlicher Intelligenz konzentrieren mehr Rechenleistung in jedem Rack, als herkömmliche Rechenzentren für die Kühlung ausgelegt waren.
Luft bleibt für viele Systeme effektiv. Bei sehr hohen Rack-Dichten wird es schwierig, laut und energieintensiv, genügend Luft zu bewegen. Flüssigkeitskühlung führt die Wärme näher an den Chips ab und kann deutlich dichter bestückte Hardware unterstützen.
Deshalb entwickelt sich die Flüssigkeitskühlung von einer spezialisierten Technik des Hochleistungsrechnens hin zu einer verbreiteten Lösung für KI-Infrastrukturen.
KI hat die Wärmemenge an einem Ort verändert
Ein herkömmliches Server-Rack kann viele vergleichsweise leistungsschwache Systeme enthalten. Ein KI-Rack kann eng verbundene Beschleuniger, CPUs, Arbeitsspeicher, Netzwerk- und Stromversorgungskomponenten enthalten, die kontinuierlich mit hoher Auslastung betrieben werden. Die Gesamtwärme ist nicht das einzige Problem. Sie ist auf ein kleines physisches Volumen konzentriert. Die Arbeiten des Open Compute Project identifizieren eine höhere Chip-Leistungsaufnahme, höhere Systemdichte und bessere Betriebseffizienz als Treiber für Flüssigkeitskühlung. Die aktuellen Arbeiten zur Kühlung umfassen Kühlplatten, Kühlmittelverteilungseinheiten, Immersionskühlung, Wärmetauscher an der Rücktür und Wärmenutzung.
Gebäude und Computer können nicht länger unabhängig voneinander geplant werden.
Warum Flüssigkeit Wärme effektiver abführt
Kühlung überträgt Wärme von den elektronischen Komponenten auf ein anderes Medium und transportiert sie an einen anderen Ort. Luft bietet mehrere Vorteile:
- es ist bereits vorhanden
- Leckagen sind kein Problem
- Systeme sind vertraut
- und herkömmliche Server problemlos gewartet werden können.
Seine Nachteile sind die geringe Wärmekapazität und Dichte. Um beträchtliche Wärmemengen zu transportieren, sind große Lüfter und große Mengen klimatisierter Luft erforderlich. Flüssigkeit kann durch einen viel kleineren Durchfluss deutlich mehr Wärme transportieren. In einem Direct-to-Chip-System kommt die Flüssigkeit normalerweise nicht direkt mit freiliegenden elektronischen Komponenten in Kontakt. Sie fließt durch abgedichtete Kühlplatten, die an den heißesten Komponenten befestigt sind. Dadurch rückt der Kühlweg näher an den Ort, an dem die Wärme entsteht.
Direct-to-Chip-Kühlung
Direct-to-Chip-Kühlung ist der sichtbarste Ansatz zur KI-Kühlung. Eine Kaltplatte sitzt auf Komponenten wie der GPU oder CPU. Kühlmittel strömt durch Kanäle in der Platte und nimmt Wärme auf. Die erwärmte Flüssigkeit fließt zu einer Kühlmittelverteilungseinheit oder CDU. Die CDU steuert Durchfluss, Druck und Wärmeaustausch zwischen dem Technologiekühlkreislauf und dem übergeordneten Kühlsystem der Anlage. Ein vereinfachter Ablauf ist:
- Der Chip erzeugt Wärme
- Die Kaltplatte nimmt sie auf
- Das Kühlmittel transportiert sie aus dem Server
- Die CDU überträgt sie in den Anlagenkreislauf
- die Anlage die Wärme abführt oder wiederverwendet.
Lüfter können weiterhin Komponenten kühlen, die nicht an Kaltplatten angeschlossen sind. „Flüssigkeitsgekühlt“ bedeutet nicht zwangsläufig, dass ein Rack vollständig lüfterlos ist.
Vorteile
- hohe Wärmeabfuhr nahe der Quelle
- höhere Rackdichte
- geringere Abhängigkeit von der Bewegung enormer Luftmengen
- Potenzial für Warmwasserbetrieb
- und eine einfachere Wärmerückgewinnung.
Herausforderungen
- Pumpen, Leitungen, Anschlüsse und Überwachung
- Leckagevermeidung und -erkennung
- Änderungen an der Anlage
- Kühlmittelkompatibilität
- Wartungsschulungen
- und Serviceverfahren für flüssigkeitsgekoppelte Hardware.
Das Kühlsystem wird Teil des Verfügbarkeitskonzepts des Servers.
Immersionskühlung
Bei der Immersionskühlung wird die Hardware in eine dielektrische Flüssigkeit eingetaucht, die Elektrizität nicht auf dieselbe Weise leitet wie gewöhnliches Wasser.
Die Wärme wird direkt von den Komponenten in die umgebende Flüssigkeit übertragen.
Es gibt zwei grundlegende Ansätze.
Einphasige Immersion
Die Flüssigkeit bleibt flüssig und zirkuliert durch einen Wärmetauscher.
Zweiphasige Immersion
Die Flüssigkeit siedet bei einer kontrollierten Temperatur, kondensiert anschließend und fließt zurück in den Tank. Immersion kann einen großen Teil des Systems kühlen und den Bedarf an zahlreichen Serverlüftern beseitigen. Außerdem verändert sie fast alles an Installation und Wartung. Techniker arbeiten mit Tanks statt mit herkömmlichen Racks. Komponenten, Kabel, Kennzeichnungen und Materialien müssen mit der Flüssigkeit kompatibel sein. Der Austausch von Hardware und die Kontrolle von Verunreinigungen erfordern andere Verfahren. Immersion ist leistungsfähig, aber nicht automatisch die einfachste Option.
Warmwasserkühlung klingt falsch, kann aber Energie sparen
Kühlflüssigkeit muss sich für einen Menschen nicht kalt anfühlen. Entscheidend ist, ob sie kühl genug bleibt, um Wärme aus den Chips aufzunehmen. Einige aktuelle KI-Plattformen sind für relativ warme Vorlauftemperaturen ausgelegt. NVIDIA beschreibt beispielsweise eine direkte Warmwasserkühlung mit bis zu 45 °C für seine Rack-Plattform Vera Rubin. Wärmeres Kühlwasser kann in geeigneten Klimazonen den Bedarf an kompressorbasierter Kühlung verringern oder beseitigen, da die Außenluft bei der Wärmeabfuhr helfen kann.
Sie macht die Abwärme außerdem nutzbarer. Ein lauwarmer Luftstrom lässt sich nur schwer wiederverwenden. Ein kontrollierter Warmwasserkreislauf kann zu Folgendem beitragen:
- Gebäudeheizung
- Fernwärmenetze
- Vorwärmung von Warmwasser
- oder industrielle Prozesse.
Die Nutzung von Abwärme hängt weiterhin vom Standort, der Temperatur, der Infrastruktur und einem nahegelegenen Abnehmer für die Wärme ab.
Spart Flüssigkeitskühlung Wasser?
Nicht automatisch. Ein flüssigkeitsgekühlter Serverkreislauf kann geschlossen sein, sodass dasselbe Kühlmittel wiederholt zirkuliert. Die Anlage kann an anderer Stelle weiterhin Verdunstungssysteme zur Wärmeabfuhr verwenden. Ein anderer Standort kann Trockenkühler und einen geringen Betriebswasserverbrauch einsetzen, unter bestimmten Bedingungen jedoch mehr Strom verbrauchen. Der richtige Vergleich umfasst: die Auslegung des Kühlkreislaufs, das lokale Klima, die Wasserquelle, das Wärmeabfuhrsystem, den Stromverbrauch und die Wärmenutzung. „Flüssigkeitskühlung“ und „hoher Wasserverbrauch“ sind keine Synonyme. Flüssigkeitskühlung ist umgekehrt nicht automatisch wasserfrei.
Warum die Luftkühlung nicht verschwinden wird
Die meiste Computerhardware benötigt keine Flüssigkeitsinfrastruktur auf Rack-Ebene. Luftkühlung bleibt attraktiv für: Racks mit geringerer Leistungsdichte, bestehende Anlagen, allgemeine Speicher- und Netzwerksysteme, Edge-Standorte und Systeme, bei denen Einfachheit wichtiger ist als maximale Dichte. Hybride Designs werden wahrscheinlich weiterhin üblich sein. GPUs und CPUs können Kaltplatten verwenden, während Komponenten mit geringerer Leistung und der Raum weiterhin luftgekühlt werden. Wärmetauscher an der Rücktür können Wärme aus luftgekühlten Racks abführen, ohne jeden Server neu konstruieren zu müssen. Der Wechsel geht nicht von vollständig luft- zu vollständig flüssigkeitsgekühlten Systemen. Es geht darum, Flüssigkeit dort einzusetzen, wo die Wärmedichte Luftkühlung ineffizient oder unpraktisch macht.
Die betrieblichen Risiken sind real
Flüssigkühlung schafft neue Fehlerursachen: Lecks, Pumpenausfälle, blockierter Durchfluss, Korrosion, inkompatible Materialien, eingeschlossene Luft, Kondensation in unzureichend kontrollierten Systemen und Fehler bei der Wartung. Gute Konstruktionen verwenden: überwachte Schnelltrennkupplungen, Leckerkennung, redundante Pumpen, Druckregelung, kompatibles Kühlmittel und kompatible Materialien sowie klare Wartungsprozesse. Der Maßstab lautet nicht „Flüssigkeit tritt niemals aus“. Entscheidend ist, dass das System Fehler erkennt und beherrscht, ohne teure Ausrüstung zu beschädigen oder den darüber hinausgehenden Betrieb zu unterbrechen.
Auch der Gebraucht-Hardwaremarkt verändert sich
Flüssigkeitsgekühlte Rechenzentrumshardware lässt sich möglicherweise weniger unkompliziert anderweitig einsetzen. Ein gebrauchter Beschleuniger kann von einer bestimmten Coldplate, einem Manifold, einer Rack-Kühlmittelspezifikation, einer Stromversorgungsarchitektur und einer Hochgeschwindigkeitsverbindung abhängen. Eine herkömmliche PCIe-Karte kann häufig zwischen kompatiblen Servern umgesetzt werden. Ein flüssigkeitsgekühltes Modul im Rack-Maßstab kann untrennbar mit der Wirtschaftlichkeit seiner Plattform verbunden sein. Dadurch werden die Modellidentifikation und der Systemkontext beim Wiederverkauf wichtiger.
Das wertvolle Objekt kann die vollständige Tray- oder Rack-Konfiguration sein, nicht nur der Beschleuniger.
Die tiefgreifende Veränderung
Flüssigkühlung wird nicht deshalb populär, weil Wasserkühlung fortschrittlich aussieht. Sie wird notwendig, weil KI-Systeme mehr Leistung und Wärme auf weniger Raum konzentrieren. Das Kühlsystem beeinflusst nun:
- wie viel Rechenleistung in ein Gebäude passt
- wo ein Rechenzentrum angesiedelt werden kann
- wie effizient sie arbeitet
- wie die Hardware gewartet wird
- und ob sich Abwärme wiederverwenden lässt.
Die nächste Generation der KI-Leistung hängt von mehr als nur Chips ab. Entscheidend ist, ob das Gebäude sie mit Strom versorgen und kühlen kann. GPUsed ist auf Enterprise-, Workstation- und Rechenzentrumshardware spezialisiert, einschließlich spezieller KI-Beschleuniger und GPUs.