Τα πυκνά συστήματα AI διοχετεύουν περισσότερη θερμότητα σε μικρότερο χώρο. Η υδρόψυξη μεταφέρει αυτή τη θερμότητα πιο κοντά στην πηγή της, αλλά αλλάζει επίσης τη βάση, το κτίριο και το σχέδιο συντήρησης.
Οι διακομιστές τεχνητής νοημοσύνης συγκεντρώνουν περισσότερη υπολογιστική ισχύ σε κάθε βάση από όση είχαν σχεδιαστεί να ψύχουν τα συμβατικά κέντρα δεδομένων.
Ο αέρας παραμένει αποτελεσματικός για πολλά συστήματα. Σε πολύ υψηλές πυκνότητες βάσεων, η μετακίνηση επαρκούς αέρα γίνεται δύσκολη, θορυβώδης και ενεργοβόρα. Η υδρόψυξη απομακρύνει τη θερμότητα πιο κοντά στα τσιπ και μπορεί να υποστηρίξει πολύ πυκνότερο υλικό.
Γι’ αυτό η υδρόψυξη μετακινείται από μια εξειδικευμένη τεχνική υπολογιστικής υψηλών επιδόσεων προς τις υποδομές AI ευρείας χρήσης.
Η AI άλλαξε την ποσότητα θερμότητας σε ένα σημείο
Μια παραδοσιακή βάση διακομιστών μπορεί να περιέχει πολλά σχετικά μέτρια συστήματα. Μια βάση AI μπορεί να περιέχει στενά συνδεδεμένους επιταχυντές, CPU, μνήμη, δικτυακό εξοπλισμό και εξοπλισμό τροφοδοσίας που λειτουργούν συνεχώς με υψηλή αξιοποίηση. Η συνολική θερμότητα δεν είναι το μόνο πρόβλημα. Είναι συγκεντρωμένη σε μικρό φυσικό όγκο. Οι εργασίες του Open Compute Project αναγνωρίζουν την αυξημένη ισχύ των τσιπ, την πυκνότητα των συστημάτων και την αποδοτικότητα λειτουργίας ως παράγοντες που οδηγούν στην υδρόψυξη. Οι τρέχουσες εργασίες του για την ψύξη καλύπτουν ψυχρές πλάκες, μονάδες διανομής ψυκτικού, εμβάπτιση, εναλλάκτες θερμότητας στην πίσω πόρτα και επαναχρησιμοποίηση θερμότητας.
Το κτίριο και ο υπολογιστής δεν μπορούν πλέον να σχεδιάζονται ξεχωριστά.
Γιατί τα υγρά απομακρύνουν τη θερμότητα πιο αποτελεσματικά
Η ψύξη μεταφέρει τη θερμότητα από τα ηλεκτρονικά εξαρτήματα σε ένα άλλο μέσο και τη μετακινεί αλλού. Ο αέρας έχει αρκετά πλεονεκτήματα:
- είναι ήδη παρόν
- οι διαρροές δεν αποτελούν ανησυχία
- τα συστήματα είναι οικεία
- και οι συνηθισμένοι διακομιστές μπορούν να συντηρούνται εύκολα.
Το μειονέκτημά του είναι η χαμηλή θερμοχωρητικότητα και πυκνότητα. Χρειάζονται μεγάλοι ανεμιστήρες και μεγάλες ποσότητες κλιματιζόμενου αέρα για τη μεταφορά σημαντικής θερμότητας. Τα υγρά μπορούν να μεταφέρουν πολύ περισσότερη θερμότητα με πολύ μικρότερη ροή. Σε ένα σύστημα άμεσης ψύξης του τσιπ, το υγρό συνήθως δεν έρχεται σε άμεση επαφή με εκτεθειμένα ηλεκτρονικά. Διέρχεται μέσα από σφραγισμένες ψυχρές πλάκες που είναι προσαρτημένες στα θερμότερα εξαρτήματα. Έτσι, η διαδρομή ψύξης πλησιάζει περισσότερο στο σημείο όπου παράγεται η θερμότητα.
Ψύξη απευθείας στο τσιπ
Η ψύξη απευθείας στο τσιπ είναι η πιο εμφανής προσέγγιση ψύξης για την τεχνητή νοημοσύνη. Μια ψυχρή πλάκα τοποθετείται σε εξαρτήματα όπως η GPU ή η CPU. Το ψυκτικό ρέει μέσα από κανάλια στο εσωτερικό της και απορροφά τη θερμότητα. Το θερμαινόμενο υγρό μεταφέρεται σε μια μονάδα διανομής ψυκτικού, ή CDU. Η CDU ελέγχει τη ροή, την πίεση και την ανταλλαγή θερμότητας μεταξύ του βρόχου ψύξης του εξοπλισμού και του ευρύτερου συστήματος ψύξης της εγκατάστασης. Μια απλοποιημένη διαδρομή είναι:
- το τσιπ παράγει θερμότητα
- η ψυχρή πλάκα την απορροφά
- το ψυκτικό την απομακρύνει από τον διακομιστή
- η CDU τη μεταφέρει στον βρόχο της εγκατάστασης
- η εγκατάσταση απορρίπτει ή επαναχρησιμοποιεί τη θερμότητα.
Οι ανεμιστήρες μπορεί να εξακολουθούν να ψύχουν εξαρτήματα που δεν είναι συνδεδεμένα με ψυχρές πλάκες. Ο όρος «υδρόψυκτο» δεν σημαίνει απαραίτητα rack χωρίς καθόλου ανεμιστήρες.
Πλεονεκτήματα
- υψηλή απομάκρυνση θερμότητας κοντά στην πηγή
- μεγαλύτερη πυκνότητα rack
- μειωμένη εξάρτηση από τη μετακίνηση τεράστιων όγκων αέρα
- δυνατότητα λειτουργίας με θερμό νερό
- και ευκολότερη ανάκτηση θερμότητας.
Προκλήσεις
- αντλίες, σωλήνες, σύνδεσμοι και παρακολούθηση
- πρόληψη και ανίχνευση διαρροών
- αλλαγές στις εγκαταστάσεις
- συμβατότητα ψυκτικού
- εκπαίδευση συντήρησης
- και τις διαδικασίες συντήρησης για υλικό που συνδέεται με υγρά.
Το σύστημα ψύξης γίνεται μέρος του σχεδιασμού διαθεσιμότητας του διακομιστή.
Ψύξη με εμβάπτιση
Η ψύξη με εμβάπτιση τοποθετεί το υλικό σε διηλεκτρικό υγρό, το οποίο δεν άγει τον ηλεκτρισμό όπως το συνηθισμένο νερό.
Η θερμότητα μεταφέρεται απευθείας από τα εξαρτήματα στο περιβάλλον υγρό.
Υπάρχουν δύο βασικές προσεγγίσεις.
Εμβάπτιση μίας φάσης
Το υγρό παραμένει σε υγρή μορφή και κυκλοφορεί μέσω ενός εναλλάκτη θερμότητας.
Εμβάπτιση δύο φάσεων
Το υγρό βράζει σε ελεγχόμενη θερμοκρασία, στη συνέχεια συμπυκνώνεται και επιστρέφει στη δεξαμενή. Η εμβάπτιση μπορεί να ψύξει μεγάλο μέρος του συστήματος και να εξαλείψει την ανάγκη για πολλούς ανεμιστήρες διακομιστών. Αλλάζει επίσης σχεδόν τα πάντα όσον αφορά την εγκατάσταση και τη συντήρηση. Οι τεχνικοί εργάζονται με δεξαμενές αντί για συμβατικά rack. Τα εξαρτήματα, τα καλώδια, οι ετικέτες και τα υλικά πρέπει να είναι συμβατά με το υγρό. Η αντικατάσταση υλικού και ο έλεγχος επιμόλυνσης απαιτούν διαφορετικές διαδικασίες. Η εμβάπτιση είναι ισχυρή λύση, αλλά δεν είναι αυτομάτως η απλούστερη επιλογή.
Η ψύξη με ζεστό νερό ακούγεται λανθασμένη, αλλά μπορεί να εξοικονομήσει ενέργεια
Το ψυκτικό υγρό δεν χρειάζεται να φαίνεται κρύο σε έναν άνθρωπο. Το σχετικό ερώτημα είναι αν παραμένει αρκετά δροσερό ώστε να απορροφά θερμότητα από τα chip. Ορισμένες σύγχρονες πλατφόρμες τεχνητής νοημοσύνης έχουν σχεδιαστεί για σχετικά υψηλές θερμοκρασίες παροχής. Η NVIDIA, για παράδειγμα, περιγράφει άμεση υδρόψυξη με ζεστό νερό, έως και 45°C, για την πλατφόρμα σε κλίμακα rack Vera Rubin. Το θερμότερο νερό ψύξης μπορεί να μειώσει ή να εξαλείψει την ανάγκη για ψύξη με συμπιεστή σε κατάλληλα κλίματα, επειδή ο εξωτερικός αέρας μπορεί να βοηθήσει στην απόρριψη της θερμότητας.
Κάνει επίσης την απορριπτόμενη θερμότητα πιο χρήσιμη. Ένα χλιαρό ρεύμα αέρα είναι δύσκολο να επαναχρησιμοποιηθεί. Ένας ελεγχόμενος βρόχος ζεστού νερού μπορεί να συμβάλει σε:
- θέρμανση κτιρίων
- δίκτυα τηλεθέρμανσης
- προθέρμανση ζεστού νερού χρήσης
- ή βιομηχανικές διεργασίες.
Η επαναχρησιμοποίηση θερμότητας εξακολουθεί να εξαρτάται από την τοποθεσία, τη θερμοκρασία, την υποδομή και την ύπαρξη κοντινού χρήστη για τη θερμότητα.
Εξοικονομεί νερό η υδρόψυξη;
Όχι αυτόματα. Ένας βρόχος υδρόψυξης σε server μπορεί να είναι κλειστός, δηλαδή το ίδιο ψυκτικό να κυκλοφορεί επανειλημμένα. Η εγκατάσταση μπορεί να χρησιμοποιεί επίσης εξατμιστικά συστήματα αλλού για την απόρριψη της θερμότητας. Μια άλλη εγκατάσταση μπορεί να χρησιμοποιεί ξηρούς ψύκτες και ελάχιστο νερό κατά τη λειτουργία, καταναλώνοντας όμως περισσότερη ηλεκτρική ενέργεια υπό ορισμένες συνθήκες. Η σωστή σύγκριση περιλαμβάνει: τον σχεδιασμό του βρόχου ψύξης, το τοπικό κλίμα, την πηγή νερού, το σύστημα απόρριψης θερμότητας, την ηλεκτρική ενέργεια και την επαναχρησιμοποίηση θερμότητας. Η «υδρόψυξη» και η «υψηλή κατανάλωση νερού» δεν είναι συνώνυμα. Ούτε η υδρόψυξη είναι αυτόματα απαλλαγμένη από τη χρήση νερού.
Γιατί η αερόψυξη δεν θα εξαφανιστεί
Το μεγαλύτερο μέρος του υπολογιστικού υλικού δεν χρειάζεται υγρή υποδομή σε κλίμακα rack. Η αερόψυξη παραμένει ελκυστική για: racks χαμηλότερης πυκνότητας, υπάρχουσες εγκαταστάσεις, γενική αποθήκευση και δικτύωση, εγκαταστάσεις edge και συστήματα όπου η απλότητα έχει μεγαλύτερη σημασία από τη μέγιστη πυκνότητα. Οι υβριδικές σχεδιάσεις πιθανότατα θα παραμείνουν συνηθισμένες. Οι GPU και CPU μπορεί να χρησιμοποιούν cold plates, ενώ τα εξαρτήματα χαμηλότερης ισχύος και ο χώρος θα συνεχίσουν να χρησιμοποιούν αέρα. Οι εναλλάκτες θερμότητας στην πίσω πόρτα μπορούν να δεσμεύουν τη θερμότητα από racks με αερόψυξη, χωρίς να χρειάζεται επανασχεδιασμός κάθε server. Η μετάβαση δεν είναι από την πλήρη αερόψυξη στην πλήρη υδρόψυξη. Αφορά τη χρήση υγρού εκεί όπου η πυκνότητα θερμότητας καθιστά τον αέρα αναποτελεσματικό ή μη πρακτικό.
Οι λειτουργικοί κίνδυνοι είναι πραγματικοί
Η υγρή ψύξη δημιουργεί νέους τρόπους αστοχίας: διαρροές, βλάβη αντλίας, φραγμένη ροή, διάβρωση, ασύμβατα υλικά, παγιδευμένος αέρας, συμπύκνωση σε ανεπαρκώς ελεγχόμενα συστήματα και λάθη κατά τη συντήρηση. Τα καλά σχεδιασμένα συστήματα χρησιμοποιούν: παρακολουθούμενα εξαρτήματα ταχείας αποσύνδεσης, ανίχνευση διαρροών, εφεδρικές αντλίες, έλεγχο πίεσης, συμβατά ψυκτικά και υλικά και σαφείς διαδικασίες συντήρησης. Το πρότυπο δεν είναι «να μη διαρρέει ποτέ υγρό». Είναι το σύστημα να ανιχνεύει και να ελέγχει τις αστοχίες χωρίς να προκαλεί ζημιά σε ακριβό εξοπλισμό ή να διακόπτει την ευρύτερη υπηρεσία.
Αυτό αλλάζει και την αγορά μεταχειρισμένου υλικού
Το υλικό κέντρων δεδομένων με υγρή ψύξη μπορεί να είναι λιγότερο εύκολο να επαναχρησιμοποιηθεί. Ένας μεταχειρισμένος επιταχυντής μπορεί να εξαρτάται από: συγκεκριμένη ψυχρή πλάκα, συλλέκτη, προδιαγραφές ψυκτικού, αρχιτεκτονική τροφοδοσίας, διασύνδεση υψηλής ταχύτητας. Μια συμβατική κάρτα PCIe μπορεί συχνά να μετακινηθεί μεταξύ συμβατών διακομιστών. Μια μονάδα υγρής ψύξης σε κλίμακα rack μπορεί να είναι άρρηκτα συνδεδεμένη με τα οικονομικά της πλατφόρμας της. Αυτό σημαίνει ότι η αναγνώριση του μοντέλου και το πλαίσιο του συστήματος αποκτούν μεγαλύτερη σημασία στη μεταπώληση.
Το πολύτιμο αντικείμενο μπορεί να είναι η πλήρης διαμόρφωση δίσκου ή rack και όχι μόνο ο επιταχυντής.
Η βαθύτερη αλλαγή
Η υγρή ψύξη δεν γίνεται δημοφιλής επειδή η υδρόψυξη φαίνεται προηγμένη. Γίνεται αναγκαία επειδή τα συστήματα τεχνητής νοημοσύνης διοχετεύουν περισσότερη ισχύ και θερμότητα σε μικρότερο χώρο. Το σύστημα ψύξης επηρεάζει πλέον:
- πόση υπολογιστική ισχύς χωρά σε ένα κτίριο
- πού μπορεί να εγκατασταθεί ένα κέντρο δεδομένων
- πόσο αποδοτικά λειτουργεί
- πώς συντηρείται το υλικό
- και από το αν η απορριπτόμενη θερμότητα μπορεί να επαναχρησιμοποιηθεί.
Η επόμενη γενιά επιδόσεων τεχνητής νοημοσύνης εξαρτάται από περισσότερα από τα τσιπ. Εξαρτάται από το αν το κτίριο μπορεί να τα τροφοδοτήσει και να τα ψύξει. Η GPUsed διαχειρίζεται εταιρικό υλικό, υλικό για σταθμούς εργασίας και κέντρα δεδομένων, συμπεριλαμβανομένων εξειδικευμένων επιταχυντών τεχνητής νοημοσύνης και GPU.