Η Nvidia αποκαλύπτει το Grace Hopper, ενός νέου ethernet switch για την τεχνητή νοημοσύνη

Ο διευθύνων σύμβουλος της Nvidia, Jensen Huang, μιλώντας στην εναρκτήρια ομιλία του συνεδρίου τεχνολογίας υπολογιστών Computex, τη Δευτέρα στην Ταϊπέι της Ταϊβάν, παρουσίασε μια σειρά από νέα προϊόντα, συμπεριλαμβανομένου ενός νέου είδους διακόπτη ethernet που προορίζεται για τη διακίνηση μεγάλου όγκου δεδομένων για εργασίες τεχνητής νοημοσύνης (AI). Στην εναρκτήρια ομιλία του έθεσε το παρακάτω ερώτημα:

Πώς θα εισάγουμε ένα νέο ethernet, που είναι συμβατό με τα πάντα προς τα πίσω, για να μετατρέψουμε κάθε κέντρο δεδομένων σε κέντρο δεδομένων γεννητικής τεχνητής νοημοσύνης; Για πρώτη φορά, φέρνουμε τις δυνατότητες των υπολογιστών υψηλών επιδόσεων στην αγορά του ethernet

Το Spectrum-X, όπως είναι γνωστή η οικογένεια προϊόντων ethernet, είναι "το πρώτο ethernet υψηλών επιδόσεων στον κόσμο για AI", σύμφωνα με την Nvidia. Ένα βασικό χαρακτηριστικό της τεχνολογίας είναι ότι "δεν χάνει πακέτα", δήλωσε ο Gilad Shainer, ανώτερος αντιπρόεδρος του τμήματος δικτύωσης, σε ενημέρωση των μέσων ενημέρωσης. 

Η πρώτη revision του Spectrum-X είναι το Spectrum-4, δήλωσε η Nvidia, το οποίο αποκάλεσε "το πρώτο παγκοσμίως 51Tb/sec Ethernet switch κατασκευασμένο ειδικά για δίκτυα AI".  To switch λειτουργεί σε συνδυασμό με τη μονάδα επεξεργασίας δεδομένων BlueField της Nvidia, ή DPU, τσιπ που χειρίζονται την ανάκτηση δεδομένων και την ουρά αναμονής, και πομποδέκτες οπτικών ινών της Nvidia. To switch μπορεί να δρομολογήσει 128 θύρες ethernet 400-gigabit ή 64 θύρες 800-gig, από άκρο σε άκρο, δήλωσε η εταιρεία.

Ο Huang κράτησε στη σκηνή το ασημένιο τσιπ Spectrum-4 ethernet switch, σημειώνοντας ότι είναι "γιγαντιαίο", αποτελούμενο από εκατό δισεκατομμύρια τρανζίστορ σε μια μήτρα 90 χιλιοστών επί 90 χιλιοστά που έχει κατασκευαστεί με την τεχνολογία διεργασίας "4N" της Taiwan Semiconductor Manufacturing. Το εξάρτημα λειτουργεί με 500 Watt, δήλωσε ο Huang. 

Το τσιπ της Nvidia έχει τη δυνατότητα να αλλάξει την αγορά δικτύων ethernet. Η συντριπτική πλειονότητα του επεξεργαστή των switch παρέχεται από την Broadcom. Τα εν λόγω switch, πωλούνται στους κατασκευαστές εξοπλισμού δικτύωσης Cisco Systems, Arista Networks, Extreme Networks, Juniper Networks και άλλους. Αυτές οι εταιρείες έχουν επεκτείνει τον εξοπλισμό τους για να χειρίζονται καλύτερα την κυκλοφορία της ΤΝ. 

Η οικογένεια Spectrum-X έχει κατασκευαστεί για να αντιμετωπίσει τη διχοτόμηση των κέντρων δεδομένων σε δύο μορφές. Η μία μορφή είναι αυτό που ο Huang αποκάλεσε "εργοστάσια ΤΝ", δηλαδή εγκαταστάσεις που κοστίζουν εκατοντάδες εκατομμύρια δολάρια για τις πιο ισχυρές GPU που βασίζονται στο NVLink και το Infiniband της Nvidia, οι οποίες χρησιμοποιούνται για την εκπαίδευση της ΤΝ, εξυπηρετώντας έναν μικρό αριθμό πολύ μεγάλων φόρτων εργασίας. Ο άλλος τύπος εγκαταστάσεων κέντρου δεδομένων είναι το νέφος Τεχνητής Νοημοσύνης, το οποίο βρίσκεται σε πολλά σημεία, βασίζεται στο ethernet και χειρίζεται εκατοντάδες και εκατοντάδες φορτία εργασίας για τους πελάτες ταυτόχρονα, και το οποίο επικεντρώνεται σε πράγματα όπως η εξυπηρέτηση των προβλέψεων στους καταναλωτές της ΤΝ, οι οποίοι θα εξυπηρετούνται από το Spectrum-X. 

Το Spectrum-X, δήλωσε ο Shainer, είναι σε θέση να "κατανέμει την κυκλοφορία στο δίκτυο με τον καλύτερο τρόπο", χρησιμοποιώντας "έναν νέο μηχανισμό για τον έλεγχο συμφόρησης", ο οποίος αποτρέπει τη συσσώρευση πακέτων που μπορεί να συμβεί στον απομονωτή μνήμης των δρομολογητών του δικτύου.

"Χρησιμοποιούμε προηγμένη τηλεμετρία για να κατανοήσουμε τις καθυστερήσεις σε όλο το δίκτυο, ώστε να εντοπίζουμε τα hotspots πριν προκαλέσουν οτιδήποτε, για να το διατηρούμε χωρίς συμφόρηση".

Η Nvidia δήλωσε σε προετοιμασμένες παρατηρήσεις ότι "οι κορυφαίοι hyperscalers του κόσμου υιοθετούν το NVIDIA Spectrum-X, συμπεριλαμβανομένων των κορυφαίων καινοτόμων εταιρειών cloud".

Η Nvidia κατασκευάζει έναν δοκιμαστικό υπολογιστή, όπως είπε, στα γραφεία της στο Ισραήλ, με την ονομασία Israel-1, έναν "υπερυπολογιστή γεννητικής τεχνητής νοημοσύνης", χρησιμοποιώντας διακομιστές Dell PowerEdge XE9680 που αποτελούνται από GPU H100 και εκτελούν δεδομένα μέσω των μεταγωγέων Spectrum-4.

Εκτός από την ανακοίνωση της νέας τεχνολογίας ethernet, στην κεντρική ομιλία του Huang παρουσιάστηκε ένα νέο μοντέλο της σειράς υπολογιστών "DGX" της εταιρείας για την τεχνητή νοημοσύνη, ο DGX GH200, τον οποίο η εταιρεία χαρακτηρίζει ως "μια νέα κατηγορία υπερυπολογιστών τεχνητής νοημοσύνης με μεγάλη χωρητικότητα μνήμης για γιγαντιαία παραγωγικά μοντέλα τεχνητής νοημοσύνης".  Το Generative AI αναφέρεται σε προγράμματα που παράγουν κάτι περισσότερο από ένα πράγμα, που άλλοτε είναι κείμενο, άλλοτε εικόνες και άλλοτε άλλα τεχνουργήματα, όπως το ChatGPT της OpenAI.

Το GH200 είναι το πρώτο σύστημα που διατίθεται με αυτό που η εταιρεία αποκαλεί "superchip", την πλακέτα Grace Hopper, η οποία περιέχει σε μία μόνο πλακέτα μια GPU Hopper και την Grace CPU, μια CPU βασισμένη στο σύνολο εντολών ARM που προορίζεται να ανταγωνιστεί τις CPU x86 της Intel και της Advanced Micro Devices. Το πρώτο revision του Grace Hopper, η GH200, βρίσκεται "σε πλήρη παραγωγή", δήλωσε ο Huang. Η Nvidia ανέφερε σε δελτίο τύπου ότι "οι παγκόσμιοι hyperscalers και τα κέντρα υπερυπολογιστών στην Ευρώπη και τις ΗΠΑ είναι μεταξύ πολλών πελατών που θα έχουν πρόσβαση σε συστήματα με ισχύ GH200". Το DGX GH200 συνδυάζει 256 από τα superchips, δήλωσε η Nvidia, για να επιτύχει συνδυαστικά 1 exaflops - δέκα στη δύναμη του 18, ή, ένα δισεκατομμύριο, δισεκατομμύρια πράξεις κινητής υποδιαστολής ανά δευτερόλεπτο - χρησιμοποιώντας 144 terabytes κοινής μνήμης. Ο υπολογιστής είναι 500 φορές ταχύτερος από το αρχικό μηχάνημα DGX A100 που κυκλοφόρησε το 2020, σύμφωνα με την Nvidia.

Στην ομιλία παρουσιάστηκε επίσης το MGX, μια αρχιτεκτονική αναφοράς για τους κατασκευαστές συστημάτων που επιτρέπει τη γρήγορη και οικονομικά αποδοτική κατασκευή παραλλαγών διακομιστών 100 και πλέον. Οι πρώτοι συνεργάτες που θα χρησιμοποιήσουν την προδιαγραφή είναι οι ASRock Rack, ASUS, GIGABYTE, Pegatron, QCT και Supermicro, με τις QCT και Supermicro να είναι οι πρώτες που θα βγουν στην αγορά με συστήματα, τον Αύγουστο, δήλωσε η Nvidia.

Ολόκληρη η κεντρική παρουσίαση μπορεί να προβληθεί σε επανάληψη από την ιστοσελίδα της Nvidia.