Os sistemas de IA densos concentram mais calor num espaço menor. O arrefecimento líquido aproxima esse calor da fonte, mas também altera o rack, o edifício e o plano de manutenção.
Os servidores de inteligência artificial estão a concentrar mais capacidade computacional em cada rack do que aquela para a qual os centros de dados convencionais foram concebidos em termos de arrefecimento.
O ar continua a ser eficaz para muitos sistemas. Com densidades de rack muito elevadas, torna-se difícil, ruidoso e energeticamente intensivo movimentar ar suficiente. O arrefecimento líquido afasta o calor para mais perto dos chips e pode suportar hardware com uma densidade muito maior.
É por isso que o arrefecimento líquido está a passar de uma técnica especializada de computação de alto desempenho para a infraestrutura de IA convencional.
A IA alterou a quantidade de calor num só local
Um rack de servidores tradicional pode conter muitos sistemas relativamente modestos. Um rack de IA pode conter aceleradores, CPUs, memória, equipamento de rede e equipamento de alimentação estreitamente interligados, a funcionar continuamente com uma utilização elevada. O calor total não é o único problema. Está concentrado num pequeno volume físico. O trabalho do Open Compute Project identifica o aumento da potência dos chips, da densidade dos sistemas e da eficiência operacional como fatores que impulsionam o arrefecimento líquido. O seu trabalho atual na área do arrefecimento abrange placas frias, unidades de distribuição de líquido de refrigeração, imersão, permutadores de calor de porta traseira e reutilização do calor.
O edifício e o computador já não podem ser concebidos separadamente.
Porque o líquido remove o calor de forma mais eficaz
O arrefecimento transfere o calor dos componentes eletrónicos para outro meio e transporta-o para outro local. O ar tem várias vantagens:
- já está presente
- as fugas não são uma preocupação
- os sistemas são familiares
- e os servidores comuns podem ser reparados facilmente.
A sua desvantagem é a baixa capacidade térmica e densidade. São necessários grandes ventiladores e volumes de ar climatizado para transportar quantidades substanciais de calor. O líquido consegue transportar muito mais calor através de um caudal muito menor. Num sistema de contacto direto com o chip, o líquido normalmente não entra em contacto direto com os componentes eletrónicos expostos. Passa por placas frias seladas ligadas aos componentes mais quentes. Isto aproxima o percurso de arrefecimento do local onde o calor é produzido.
Refrigeração direta do chip
A refrigeração direta do chip é a abordagem de refrigeração de IA mais visível. Uma placa fria fica sobre componentes como a GPU ou a CPU. O líquido de refrigeração flui através de canais no seu interior e absorve o calor. O líquido aquecido desloca-se até uma unidade de distribuição de líquido de refrigeração, ou CDU. A CDU controla o fluxo, a pressão e a troca de calor entre o circuito de refrigeração tecnológica e o sistema de refrigeração mais amplo da instalação. Um percurso simplificado é:
- o chip produz calor
- a placa fria absorve-o
- o líquido de refrigeração transporta-o para fora do servidor
- a CDU transfere-o para o circuito da instalação
- a instalação rejeita ou reutiliza o calor.
As ventoinhas podem continuar a arrefecer componentes que não estejam ligados a placas frias. “Refrigerado a líquido” não significa necessariamente um rack totalmente sem ventoinhas.
Vantagens
- elevada remoção de calor junto da fonte
- maior densidade por rack
- menor dependência da movimentação de enormes volumes de ar
- potencial para funcionamento com água quente
- e uma recuperação de calor mais fácil.
Desafios
- bombas, tubos, conectores e monitorização
- prevenção e deteção de fugas
- alterações nas instalações
- compatibilidade do líquido de refrigeração
- formação em manutenção
- e dos procedimentos de manutenção para hardware ligado a líquidos.
O sistema de refrigeração passa a fazer parte do projeto de disponibilidade do servidor.
Refrigeração por imersão
A refrigeração por imersão coloca o hardware num fluido dielétrico que não conduz eletricidade da mesma forma que a água comum.
O calor é transferido diretamente dos componentes para o fluido envolvente.
Existem duas abordagens gerais.
Imersão monofásica
O fluido permanece líquido e circula através de um permutador de calor.
Imersão bifásica
O fluido ferve a uma temperatura controlada, depois condensa e regressa ao tanque. A imersão pode arrefecer uma grande parte do sistema e eliminar a necessidade de muitas ventoinhas no servidor. Também altera praticamente tudo na instalação e na manutenção. Os técnicos trabalham com tanques em vez de racks convencionais. Os componentes, cabos, etiquetas e materiais têm de ser compatíveis com o fluido. A substituição de hardware e o controlo da contaminação exigem processos diferentes. A imersão é potente, mas não é automaticamente a opção mais simples.
O arrefecimento com água quente parece errado, mas pode poupar energia
O líquido de refrigeração não precisa de parecer frio para uma pessoa. A questão relevante é se continua suficientemente frio para absorver o calor dos chips. Algumas plataformas atuais de IA são concebidas para funcionar com temperaturas de fornecimento relativamente elevadas. A NVIDIA, por exemplo, descreve um sistema de arrefecimento líquido direto com água quente, até 45 °C, para a sua plataforma à escala de rack Vera Rubin. Uma água de arrefecimento mais quente pode reduzir ou eliminar a necessidade de refrigeração baseada em compressores em climas adequados, porque o ar exterior pode ajudar a rejeitar o calor.
Também torna o calor residual mais útil. Um fluxo de ar morno é difícil de reutilizar. Um circuito de água quente controlada pode contribuir para:
- aquecimento de edifícios
- redes de aquecimento urbano
- pré-aquecimento de água quente doméstica
- ou processos industriais.
A reutilização do calor continua a depender da localização, da temperatura, da infraestrutura e da existência de um cliente próximo para esse calor.
O arrefecimento líquido poupa água?
Não automaticamente. Um circuito de servidor arrefecido a líquido pode ser fechado, o que significa que o mesmo líquido de refrigeração circula repetidamente. A instalação pode continuar a utilizar sistemas evaporativos noutros pontos para rejeitar o calor. Outra instalação pode utilizar refrigeradores secos e pouca água durante o funcionamento, mas consumir mais eletricidade em determinadas condições. A comparação correta inclui: o design do circuito de arrefecimento, o clima local, a fonte de água, o sistema de rejeição de calor, a eletricidade e a reutilização do calor. “Arrefecimento líquido” e “elevado consumo de água” não são sinónimos. Do mesmo modo, o arrefecimento líquido não é automaticamente isento de água.
Porque é que o arrefecimento a ar não vai desaparecer
A maioria do hardware informático não precisa de uma infraestrutura líquida à escala de rack. O arrefecimento a ar continua a ser apelativo para: racks de menor densidade, instalações existentes, armazenamento geral e redes, instalações periféricas e sistemas em que a simplicidade é mais importante do que a densidade máxima. É provável que os designs híbridos continuem a ser comuns. As GPUs e CPUs podem utilizar placas frias, enquanto os componentes de menor consumo e a própria sala continuam a utilizar ar. Os permutadores de calor na porta traseira podem captar o calor dos racks arrefecidos a ar sem ser necessário redesenhar cada servidor. A mudança não é de tudo a ar para tudo a líquido. Trata-se de utilizar líquido onde a densidade térmica torna o ar ineficiente ou impraticável.
Os riscos operacionais são reais
A refrigeração líquida cria novos modos de falha: fugas, falhas da bomba, fluxo obstruído, corrosão, materiais incompatíveis, ar retido, condensação em sistemas mal controlados e erros durante a manutenção. Os bons designs utilizam: ligações rápidas monitorizadas, deteção de fugas, bombas redundantes, controlo da pressão, líquido de refrigeração e materiais compatíveis, além de processos de manutenção claros. O padrão não é “o líquido nunca tem fugas”. É que o sistema deteta e controla as falhas sem danificar equipamento dispendioso nem interromper o serviço mais amplo.
Também muda o mercado de hardware usado
O hardware de centros de dados refrigerado a líquido pode ser menos simples de reutilizar. Um acelerador usado pode depender de: uma placa fria específica, um coletor, um rack, uma especificação de líquido de refrigeração, uma arquitetura de alimentação, uma interligação de alta velocidade. Uma placa PCIe convencional pode muitas vezes ser transferida entre servidores compatíveis. Um módulo refrigerado a líquido à escala do rack pode ser indissociável da economia da sua plataforma. Isto significa que a identificação do modelo e o contexto do sistema se tornam mais importantes na revenda.
O objeto de valor pode ser o tabuleiro ou a configuração completa do rack, e não apenas o acelerador.
A mudança mais profunda
A refrigeração líquida não está a tornar-se popular porque a refrigeração a água parece avançada. Está a tornar-se necessária porque os sistemas de IA estão a concentrar mais potência e calor em menos espaço. O sistema de refrigeração afeta agora:
- quanta capacidade de computação cabe num edifício
- onde pode estar localizado um centro de dados
- a eficiência com que funciona
- como o hardware é assistido
- e da possibilidade de reutilizar o calor residual.
A próxima geração de desempenho em IA depende de mais do que chips. Depende da capacidade do edifício para os alimentar e refrigerar. A GPUsed trabalha com hardware empresarial, de workstation e de centros de dados, incluindo aceleradores de IA e GPUs especializados.