Les systèmes d’IA denses concentrent davantage de chaleur dans un espace plus réduit. Le refroidissement liquide rapproche cette chaleur de sa source, mais il modifie aussi la baie, le bâtiment et le plan de maintenance.
Les serveurs d’intelligence artificielle concentrent davantage de puissance de calcul dans chaque baie que les centres de données classiques n’étaient conçus pour refroidir.
L’air reste efficace pour de nombreux systèmes. À de très fortes densités de puissance par baie, il devient difficile, bruyant et énergivore de déplacer suffisamment d’air. Le refroidissement liquide évacue la chaleur plus près des puces et peut prendre en charge des équipements beaucoup plus denses.
C’est pourquoi le refroidissement liquide passe d’une technique spécialisée de l’informatique haute performance à une solution courante pour les infrastructures d’IA.
L’IA a modifié la quantité de chaleur concentrée en un même endroit
Une baie de serveurs traditionnelle peut contenir de nombreux systèmes relativement modestes. Une baie dédiée à l’IA peut réunir des accélérateurs, des processeurs, de la mémoire, des équipements réseau et des systèmes d’alimentation étroitement interconnectés, fonctionnant en continu à un niveau d’utilisation élevé. La chaleur totale n’est pas le seul problème. Elle est concentrée dans un faible volume physique. Les travaux de l’Open Compute Project identifient l’augmentation de la puissance des puces, de la densité des systèmes et de l’efficacité de fonctionnement comme des facteurs favorisant le refroidissement liquide. Ses travaux actuels sur le refroidissement couvrent les plaques froides, les unités de distribution du liquide de refroidissement, l’immersion, les échangeurs thermiques à porte arrière et la réutilisation de la chaleur.
Le bâtiment et l’ordinateur ne peuvent plus être conçus séparément.
Pourquoi le liquide évacue plus efficacement la chaleur
Le refroidissement transfère la chaleur des composants électroniques vers un autre milieu et l’évacue ailleurs. L’air présente plusieurs avantages :
- il est déjà présent
- les fuites ne sont pas un problème
- les systèmes sont familiers
- et les serveurs classiques peuvent être facilement entretenus.
Son inconvénient réside dans sa faible capacité thermique et sa faible densité. De grands ventilateurs et d’importants volumes d’air conditionné sont nécessaires pour évacuer une quantité considérable de chaleur. Un liquide peut transporter beaucoup plus de chaleur avec un débit bien moindre. Dans un système à refroidissement direct des puces, le liquide n’entre normalement pas en contact direct avec les composants électroniques exposés. Il circule dans des plaques froides étanches fixées aux composants les plus chauds. Le circuit de refroidissement se rapproche ainsi de la zone où la chaleur est produite.
Refroidissement direct des puces
Le refroidissement direct des puces est l’approche la plus visible pour le refroidissement de l’IA. Une plaque froide est placée sur des composants tels que le GPU ou le CPU. Le liquide de refroidissement circule dans ses canaux internes et absorbe la chaleur. Le liquide chauffé se dirige vers une unité de distribution du liquide de refroidissement, ou CDU. Le CDU contrôle le débit, la pression et l’échange thermique entre le circuit de refroidissement technologique et le système de refroidissement plus vaste de l’installation. Le parcours simplifié est le suivant :
- la puce produit de la chaleur
- la plaque froide l’absorbe
- le liquide de refroidissement l’évacue du serveur
- le CDU la transfère vers le circuit de l’installation
- l’installation évacue ou réutilise la chaleur.
Des ventilateurs peuvent encore refroidir les composants qui ne sont pas raccordés à des plaques froides. « Refroidi par liquide » ne signifie pas nécessairement qu’un rack est entièrement dépourvu de ventilateurs.
Avantages
- évacuation importante de la chaleur à proximité de sa source
- densité accrue des racks
- dépendance réduite à la circulation de volumes d’air très importants
- possibilité de fonctionner avec de l’eau chaude
- et une récupération de la chaleur facilitée.
Défis
- pompes, conduites, connecteurs et systèmes de surveillance
- prévention et détection des fuites
- modifications des installations
- compatibilité du liquide de refroidissement
- formation à la maintenance
- et les procédures de maintenance pour le matériel raccordé à un circuit liquide.
Le système de refroidissement devient partie intégrante de la conception de la disponibilité du serveur.
Refroidissement par immersion
Le refroidissement par immersion place le matériel dans un fluide diélectrique qui ne conduit pas l’électricité comme le ferait l’eau ordinaire.
La chaleur est transférée directement des composants vers le fluide environnant.
Il existe deux grandes approches.
Immersion monophasée
Le fluide reste liquide et circule dans un échangeur thermique.
Immersion biphasée
Le fluide bout à une température contrôlée, puis se condense et retourne dans le réservoir. L’immersion peut refroidir une grande partie du système et supprimer le besoin de nombreux ventilateurs de serveur. Elle modifie également presque tout ce qui concerne l’installation et la maintenance. Les techniciens travaillent avec des réservoirs plutôt qu’avec des racks conventionnels. Les composants, les câbles, les étiquettes et les matériaux doivent être compatibles avec le fluide. Le remplacement du matériel et le contrôle de la contamination nécessitent des procédures différentes. L’immersion est puissante, mais ce n’est pas automatiquement l’option la plus simple.
Le refroidissement à l’eau chaude semble contre-intuitif, mais peut économiser de l’énergie
Le liquide de refroidissement n’a pas besoin de sembler froid au toucher. La question pertinente est de savoir s’il reste suffisamment frais pour absorber la chaleur des puces. Certaines plateformes d’IA actuelles sont conçues pour fonctionner avec des températures d’alimentation relativement élevées. NVIDIA, par exemple, décrit un refroidissement liquide direct à l’eau chaude, jusqu’à 45 °C, pour sa plateforme à l’échelle d’un rack Vera Rubin. Une eau de refroidissement plus chaude peut réduire ou éliminer le besoin d’un refroidissement mécanique à compresseur dans les climats appropriés, car l’air extérieur peut contribuer à évacuer la chaleur.
Elle rend également la chaleur résiduelle plus utile. Un flux d’air tiède est difficile à réutiliser. Une boucle d’eau chaude régulée peut contribuer à :
- chauffage des bâtiments
- réseaux de chaleur urbains
- préchauffage de l’eau chaude sanitaire
- ou des procédés industriels.
La réutilisation de la chaleur dépend toujours du lieu, de la température, de l’infrastructure et de la présence d’un utilisateur de chaleur à proximité.
Le refroidissement liquide permet-il d’économiser l’eau ?
Pas automatiquement. Une boucle de serveur refroidie par liquide peut être fermée, ce qui signifie que le même liquide de refroidissement circule en continu. L’installation peut tout de même utiliser ailleurs des systèmes évaporatifs pour évacuer la chaleur. Un autre site peut utiliser des refroidisseurs secs et très peu d’eau en fonctionnement, tout en consommant davantage d’électricité dans certaines conditions. La comparaison correcte inclut : la conception de la boucle de refroidissement, le climat local, la source d’eau, le système d’évacuation de la chaleur, l’électricité et la réutilisation de la chaleur. « Refroidissement liquide » et « forte consommation d’eau » ne sont pas synonymes. De même, le refroidissement liquide n’est pas automatiquement sans eau.
Pourquoi le refroidissement par air ne disparaîtra pas
La plupart des équipements informatiques n’ont pas besoin d’une infrastructure liquide à l’échelle d’un rack. Le refroidissement par air reste intéressant pour les racks à faible densité, les installations existantes, le stockage et les réseaux généraux, les sites en périphérie et les systèmes où la simplicité compte davantage que la densité maximale. Les conceptions hybrides resteront probablement courantes. Les GPU et les CPU peuvent utiliser des plaques froides, tandis que les composants moins énergivores et la salle continuent d’être refroidis par air. Les échangeurs thermiques de porte arrière peuvent capter la chaleur des racks refroidis par air sans devoir repenser chaque serveur. La transition ne se fait pas d’un refroidissement entièrement par air à un refroidissement entièrement liquide. Il s’agit plutôt d’utiliser du liquide là où la densité thermique rend l’air inefficace ou impraticable.
Les risques opérationnels sont réels
Le refroidissement liquide crée de nouveaux modes de défaillance : fuites, panne de pompe, débit obstrué, corrosion, matériaux incompatibles, poches d’air, condensation dans les systèmes mal contrôlés et erreurs lors de la maintenance. Les conceptions efficaces utilisent : des raccords rapides surveillés, une détection des fuites, des pompes redondantes, un contrôle de la pression, un liquide de refroidissement et des matériaux compatibles, ainsi que des procédures de maintenance claires. La norme n’est pas « le liquide ne fuit jamais ». Elle consiste à ce que le système détecte et maîtrise les défaillances sans endommager du matériel coûteux ni interrompre le service global.
Cela transforme également le marché du matériel d’occasion
Le matériel de centre de données refroidi par liquide peut être moins simple à redéployer. Un accélérateur d’occasion peut dépendre des éléments suivants : une plaque froide spécifique, un collecteur, une spécification de liquide de refroidissement, une architecture d’alimentation, ainsi qu’une interconnexion haut débit. Une carte PCIe classique peut souvent être installée dans différents serveurs compatibles. Un module refroidi par liquide à l’échelle d’un rack peut être indissociable de l’économie de sa plateforme. L’identification du modèle et le contexte du système deviennent donc plus importants lors de la revente.
L’élément de valeur peut être la configuration complète du plateau ou du rack, et non l’accélérateur seul.
Le changement en profondeur
Le refroidissement liquide ne gagne pas en popularité parce que le refroidissement à l’eau paraît avancé. Il devient nécessaire parce que les systèmes d’IA concentrent davantage de puissance et de chaleur dans un espace réduit. Le système de refroidissement influe désormais sur :
- la puissance de calcul pouvant tenir dans un bâtiment
- l’emplacement possible d’un centre de données
- son efficacité de fonctionnement
- la manière dont le matériel est entretenu
- et de la possibilité de réutiliser la chaleur produite.
La prochaine génération de performances en IA dépend de bien plus que des puces. Elle dépend de la capacité du bâtiment à les alimenter et à les refroidir. GPUsed prend en charge le matériel d’entreprise, de stations de travail et de centres de données, notamment les accélérateurs et GPU spécialisés pour l’IA.