Los sistemas de IA de alta densidad concentran más calor en menos espacio. La refrigeración líquida acerca ese calor a su fuente, pero también cambia el rack, el edificio y el plan de mantenimiento.
Los servidores de inteligencia artificial concentran más potencia de cálculo en cada rack de la que los centros de datos convencionales estaban diseñados para refrigerar.
El aire sigue siendo eficaz para muchos sistemas. Con densidades de rack muy altas, mover suficiente aire se vuelve difícil, ruidoso y consume mucha energía. La refrigeración líquida aleja el calor de los chips y permite una infraestructura mucho más densa.
Por eso la refrigeración líquida está pasando de ser una técnica especializada de la computación de alto rendimiento a convertirse en una opción generalizada para la infraestructura de IA.
La IA cambió la cantidad de calor en un mismo lugar
Un rack de servidores tradicional puede contener muchos sistemas relativamente modestos. Un rack de IA puede contener aceleradores, CPU, memoria, equipos de red y de alimentación estrechamente conectados que funcionan continuamente con una utilización elevada. El problema no es solo el calor total. Está concentrado en un volumen físico reducido. El trabajo del Open Compute Project identifica el aumento de la potencia de los chips, la densidad de los sistemas y la eficiencia operativa como factores que impulsan la refrigeración líquida. Su trabajo actual sobre refrigeración abarca placas frías, unidades de distribución de refrigerante, inmersión, intercambiadores de calor de puerta trasera y reutilización del calor.
El edificio y el ordenador ya no se pueden diseñar por separado.
Por qué el líquido elimina el calor de forma más eficaz
La refrigeración transfiere el calor de los componentes electrónicos a otro medio y lo traslada a otro lugar. El aire ofrece varias ventajas:
- ya está presente
- las fugas no son motivo de preocupación
- los sistemas son conocidos
- y los servidores convencionales se pueden reparar fácilmente.
Su principal debilidad es su baja capacidad calorífica y densidad. Se necesitan ventiladores grandes y volúmenes considerables de aire acondicionado para transportar una cantidad importante de calor. Un líquido puede transportar mucho más calor mediante un flujo mucho menor. En un sistema de refrigeración directa al chip, el líquido normalmente no entra en contacto con los componentes electrónicos expuestos. Circula por placas frías selladas conectadas a los componentes más calientes. Esto acerca el recorrido de refrigeración al lugar donde se produce el calor.
Refrigeración directa del chip
La refrigeración directa del chip es el enfoque de refrigeración de IA más visible. Una placa fría se coloca sobre componentes como la GPU o la CPU. El refrigerante fluye por canales situados en su interior y absorbe el calor. El líquido calentado llega a una unidad de distribución de refrigerante, o CDU. La CDU controla el flujo, la presión y el intercambio de calor entre el circuito de refrigeración tecnológica y el sistema de refrigeración más amplio de la instalación. Un recorrido simplificado es:
- el chip produce calor
- la placa fría lo absorbe
- el refrigerante lo transporta fuera del servidor
- la CDU lo transfiere al circuito de la instalación
- la instalación rechaza o reutiliza el calor.
Los ventiladores aún pueden refrigerar los componentes que no están conectados a placas frías. «Refrigerado por líquido» no significa necesariamente que el rack no tenga ningún ventilador.
Ventajas
- alta extracción de calor cerca de la fuente
- mayor densidad de racks
- menor dependencia del movimiento de enormes volúmenes de aire
- posibilidad de utilizar agua templada
- y una recuperación del calor más sencilla.
Desafíos
- bombas, tuberías, conectores y monitorización
- prevención y detección de fugas
- cambios en las instalaciones
- compatibilidad del refrigerante
- formación sobre mantenimiento
- y los procedimientos de mantenimiento para hardware conectado a líquidos.
El sistema de refrigeración pasa a formar parte del diseño de disponibilidad del servidor.
Refrigeración por inmersión
La refrigeración por inmersión coloca el hardware en un fluido dieléctrico que no conduce la electricidad como lo hace el agua común.
El calor se transfiere directamente de los componentes al fluido circundante.
Hay dos enfoques generales.
Inmersión monofásica
El fluido permanece en estado líquido y circula por un intercambiador de calor.
Inmersión bifásica
El fluido hierve a una temperatura controlada, luego se condensa y regresa al depósito. La inmersión puede enfriar una gran parte del sistema y eliminar la necesidad de muchos ventiladores del servidor. También cambia casi todo lo relacionado con la instalación y el mantenimiento. Los técnicos trabajan con depósitos en lugar de racks convencionales. Los componentes, cables, etiquetas y materiales deben ser compatibles con el fluido. La sustitución del hardware y el control de la contaminación requieren procesos diferentes. La inmersión es potente, pero no es automáticamente la opción más sencilla.
La refrigeración con agua caliente parece incorrecta, pero puede ahorrar energía
El líquido refrigerante no tiene por qué sentirse frío para una persona. La pregunta relevante es si sigue estando lo suficientemente frío como para absorber el calor de los chips. Algunas plataformas actuales de IA están diseñadas para funcionar con temperaturas de suministro relativamente altas. NVIDIA, por ejemplo, describe una refrigeración líquida directa con agua caliente de hasta 45 °C para su plataforma a escala de rack Vera Rubin. Un agua de refrigeración más caliente puede reducir o eliminar la necesidad de refrigeración mediante compresores en climas adecuados, ya que el aire exterior puede ayudar a disipar el calor.
También hace que el calor residual sea más útil. Una corriente de aire templado es difícil de reutilizar. Un circuito controlado de agua caliente puede contribuir a:
- calefacción de edificios
- redes de calefacción urbana
- precalentamiento del agua caliente sanitaria
- o procesos industriales.
La reutilización del calor también depende de la ubicación, la temperatura, la infraestructura y de que haya un cliente cercano para aprovecharlo.
¿La refrigeración líquida ahorra agua?
No automáticamente. Un circuito de servidor refrigerado por líquido puede ser cerrado, lo que significa que el mismo refrigerante circula repetidamente. La instalación puede seguir utilizando sistemas evaporativos en otros puntos para disipar el calor. Otro sitio puede utilizar refrigeradores secos y poca agua durante el funcionamiento, pero consumir más electricidad en determinadas condiciones. La comparación correcta incluye: el diseño del circuito de refrigeración, el clima local, la fuente de agua, el sistema de disipación del calor, la electricidad y la reutilización del calor. «Refrigeración líquida» y «alto consumo de agua» no son sinónimos. Tampoco significa que la refrigeración líquida no consuma agua automáticamente.
Por qué la refrigeración por aire no desaparecerá
La mayoría del hardware informático no necesita una infraestructura líquida a escala de rack. La refrigeración por aire sigue siendo atractiva para: racks de menor densidad, instalaciones existentes, almacenamiento y redes de uso general, sitios periféricos y sistemas en los que la simplicidad importa más que la densidad máxima. Es probable que los diseños híbridos sigan siendo habituales. Las GPU y las CPU pueden usar placas frías, mientras que los componentes de menor consumo y la sala siguen utilizando aire. Los intercambiadores de calor de puerta trasera pueden capturar el calor de los racks refrigerados por aire sin rediseñar cada servidor. El cambio no consiste en pasar de todo aire a todo líquido. Consiste en utilizar líquido allí donde la densidad térmica hace que el aire resulte ineficiente o poco práctico.
Los riesgos operativos son reales
La refrigeración líquida crea nuevos modos de fallo: fugas, fallos de la bomba, obstrucciones del flujo, corrosión, materiales incompatibles, aire atrapado, condensación en sistemas mal controlados y errores durante el mantenimiento. Los diseños adecuados utilizan: racores de desconexión rápida monitorizados, detección de fugas, bombas redundantes, control de presión, refrigerante y materiales compatibles, y procesos de mantenimiento claros. El estándar no es «que nunca haya fugas de líquido». Es que el sistema detecte y controle los fallos sin dañar equipos costosos ni interrumpir el servicio general.
También cambia el mercado del hardware usado
El hardware de centros de datos con refrigeración líquida puede ser menos sencillo de reasignar. Un acelerador usado puede depender de: una placa fría específica, un colector, una configuración de refrigerante, una arquitectura de alimentación, una interconexión de alta velocidad y un rack concretos. Una tarjeta PCIe convencional suele poder trasladarse entre servidores compatibles. Un módulo con refrigeración líquida a escala de rack puede ser inseparable de la economía de su plataforma. Esto significa que la identificación del modelo y el contexto del sistema adquieren más importancia en la reventa.
El objeto de valor puede ser la configuración completa de bandeja o rack, no solo el acelerador.
El cambio más profundo
La refrigeración líquida no se está popularizando porque la refrigeración por agua parezca avanzada. Se está volviendo necesaria porque los sistemas de IA están concentrando más potencia y calor en menos espacio. El sistema de refrigeración ahora afecta a:
- cuánta capacidad de cómputo cabe en un edificio
- dónde puede ubicarse un centro de datos
- con qué eficiencia funciona
- cómo se mantiene el hardware
- y de si el calor residual puede reutilizarse.
La próxima generación de rendimiento de IA depende de algo más que de los chips. Depende de si el edificio puede suministrarles energía y refrigerarlos. GPUsed gestiona hardware empresarial, de estaciones de trabajo y de centros de datos, incluidos aceleradores y GPU especializados para IA.