Η Microsoft μοιράζεται μια ματιά στην τεχνολογία υπερυπολογιστών ΤΝ της NVIDIA που τροφοδοτεί το ChatGPT

Όταν η Microsoft και η OpenAI συνεργάστηκαν το 2019, οι δύο εταιρείες επεδίωξαν να φέρουν υπερυπολογιστικούς πόρους σχεδιασμένους και αφιερωμένους ώστε να επιτρέψουν στην OpenAI να εκπαιδεύσει μια διευρυνόμενη σουίτα όλο και πιο ισχυρών μοντέλων τεχνητής νοημοσύνης. Η εταιρία OpenAI χρειαζόταν μια άνευ προηγουμένου υποδομή υπολογιστικού νέφους, μεγαλύτερη από ό,τι είχε επιχειρήσει να δημιουργήσει κανείς στον κλάδο στο παρελθόν. Με την πάροδο του χρόνου αυτό εξελίχθηκε, με τη Microsoft να ανακοινώνει στις 13 Μαρτίου 2023 νέες ισχυρές και κλιμακούμενες εικονικές μηχανές που ενσωματώνουν τις τελευταίες GPU NVIDIA H100 Tensor Core και τη δικτύωση NVIDIA Quantum-2 InfiniBand για να συνεχίσουν να αντιμετωπίζουν αυτό το μνημειώδες έργο.

"Ο συν-σχεδιασμός υπερυπολογιστών με το Azure ήταν ζωτικής σημασίας για την κλιμάκωση των απαιτητικών εκπαιδευτικών αναγκών μας για την τεχνητή νοημοσύνη, καθιστώντας δυνατή την έρευνα και την ευθυγράμμιση των εργασιών μας σε συστήματα όπως το ChatGPT", δήλωσε ο Greg Brockman, πρόεδρος και συνιδρυτής του OpenAI.

Η εικονική μηχανή (VM) ND H100 v5 επιτρέπει την κλιμάκωση κατ' απαίτηση σε μεγέθη που κυμαίνονται από οκτώ έως χιλιάδες GPU NVIDIA H100, οι οποίες διασυνδέονται μεταξύ τους μέσω του NVIDIA Quantum-2 InfiniBand. Η Microsoft αναφέρει ότι αυτό θα ισοδυναμεί με το να βλέπουν οι πελάτες "σημαντικά ταχύτερες επιδόσεις" για τα μοντέλα ΤΝ σε σχέση με την προηγούμενη γενιά.

"Η NVIDIA και το Microsoft Azure έχουν συνεργαστεί μέσω πολλαπλών γενεών προϊόντων για να φέρουν κορυφαίες καινοτομίες ΤΝ σε επιχειρήσεις σε όλο τον κόσμο. Οι εικονικές μηχανές NDv5 H100 θα βοηθήσουν στην τροφοδοσία μιας νέας εποχής γενεσιουργών εφαρμογών και υπηρεσιών ΤΝ", σημείωσε ο Ian Buck, αντιπρόεδρος του τμήματος hyperscale and high-performance computing της NVIDIA.

Η Nidhi Chappell, επικεφαλής της Microsoft για το Azure High-Performance Computing, αναφέρει ότι το κλειδί για τις ανακαλύψεις που έγιναν προήλθε από την εκμάθηση του τρόπου κατασκευής, λειτουργίας και συντήρησης δεκάδων χιλιάδων συνεγκατεστημένων GPUs που συνδέονται μεταξύ τους σε ένα δίκτυο InfiniBand υψηλής απόδοσης και χαμηλής καθυστέρησης. Ο Chappell εξήγησε ότι αυτό ήταν μεγαλύτερο από ό,τι είχαν δοκιμάσει ποτέ ακόμη και οι προμηθευτές των GPU και του δικτυακού εξοπλισμού. Εν ολίγοις, είπε, "ήταν μια αχαρτογράφητη περιοχή. Κανείς δεν ήξερε με βεβαιότητα αν το υλικό μπορούσε να ωθηθεί τόσο πολύ χωρίς να χαλάσει".

Η Chappell πρόσθεσε ότι απαιτείται μεγάλη βελτιστοποίηση σε επίπεδο συστήματος προκειμένου να επιτευχθεί η καλύτερη δυνατή απόδοση. Αυτή η βελτιστοποίηση περιλαμβάνει λογισμικό που διευκολύνει την αποτελεσματική αξιοποίηση των GPU και του εξοπλισμού δικτύωσης. Η υποδομή Azure είναι προς το παρόν βελτιστοποιημένη για την εκπαίδευση μεγάλων γλωσσικών μοντέλων και είναι διαθέσιμη μέσω των υπερυπολογιστικών δυνατοτήτων της Azure ΤΝ στο νέφος.

"Αυτή είναι η πιο εξαιρετική στιγμή που έχουμε δει στην ιστορία της τεχνητής νοημοσύνης", σημείωσε ο Jensen Huang σε πρόσφατη ανάρτηση στο blog της NVIDIA. "Οι νέες τεχνολογίες Τεχνητής Νοημοσύνης και η ταχέως εξαπλούμενη υιοθέτησή τους μεταμορφώνουν την επιστήμη και τη βιομηχανία και ανοίγουν νέα σύνορα για χιλιάδες νέες εταιρείες. Αυτό θα είναι το πιο σημαντικό GTC που έχουμε κάνει μέχρι σήμερα".

Η Microsoft διαφημίζει ότι μόνο το Microsoft Azure προσφέρει τις GPU, τη δικτύωση InfiniBand και τη μοναδική υποδομή ΤΝ που απαιτείται για τη δημιουργία τέτοιων μετασχηματιστικών μοντέλων ΤΝ σε κλίμακα.