Η startup στο τομέα της ΤΝ, που υποστηρίζεται από τη Microsoft, κερδίζει την Nvidia H100 σε βασικές δοκιμές με κάρτα που μοιάζει με GPU και είναι εξοπλισμένη με 256GB RAM

Η μοναδική υπολογιστική πλατφόρμα της D-Matrix, γνωστή ως Corsair C8, μπορεί να διεκδικήσει με αξιώσεις τον εκτοπισμό της κορυφαίας GPU H100 της Nvidia - τουλάχιστον σύμφωνα με ορισμένα εντυπωσιακά αποτελέσματα δοκιμών που δημοσίευσε η νεοσύστατη εταιρεία. Η Corsair C8, η οποία έχει σχεδιαστεί ειδικά για παραγωγικά φορτία AI, διαφέρει από τις GPU στο ότι χρησιμοποιεί τη μοναδική αρχιτεκτονική ψηφιακού υπολογιστή στη μνήμη (DIMC) της d-Matrix. Το αποτέλεσμα; Εννεαπλάσια αύξηση της απόδοσης σε σχέση με την κορυφαία στον κλάδο Nvidia H100 και 27 φορές μεγαλύτερη σε σχέση με την A100.

Ισχύς Corsair C8

Η νεοφυής επιχείρηση είναι μία από τις πιο πολυσυζητημένες στη Silicon Valley, συγκεντρώνοντας 110 εκατομμύρια δολάρια από επενδυτές στον τελευταίο γύρο χρηματοδότησής της, συμπεριλαμβανομένης της χρηματοδότησης από τη Microsoft. Αυτό ήρθε παράλληλα με έναν επενδυτικό γύρο ύψους 44 εκατομμυρίων δολαρίων από υποστηρικτές όπως η Microsoft, η SK Hynix και άλλοι, τον Απρίλιο του 2022.

Η ναυαρχίδα της, η κάρτα Corsair C8, περιλαμβάνει 2.048 πυρήνες DIMC με 130 δισεκατομμύρια τρανζίστορ και 256GB LPDDR5 RAM. Μπορεί να υπερηφανεύεται για υπολογιστικές επιδόσεις από 2.400 έως 9.600 TFLOPS και έχει εύρος ζώνης chip-to-chip 1TB/s

Αυτές οι μοναδικές κάρτες μπορούν να παράγουν έως και 20 φορές υψηλότερη απόδοση για παραγωγική συμπερασματολογία σε μεγάλα γλωσσικά μοντέλα (LLMS), έως και 20 φορές χαμηλότερη καθυστέρηση συμπερασματολογίας για LLM και έως και 30 φορές εξοικονόμηση κόστους σε σύγκριση με τις παραδοσιακές GPU.

Με την ταχεία εξάπλωση της παραγωγικής ΤΝ, ο κλάδος έχει εγκλωβιστεί σε έναν αγώνα δρόμου για την κατασκευή ολοένα και πιο ισχυρού υλικού για την τροφοδοσία των μελλοντικών γενεών της τεχνολογίας. Τα κορυφαία στοιχεία είναι οι GPU και, πιο συγκεκριμένα, οι μονάδες A100 και οι νεότερες H100 της Nvidia. Όμως οι GPU δεν είναι βελτιστοποιημένες για λύσεις LLM, σύμφωνα με την d-Matrix, και απαιτούνται πάρα πολλές GPU για να χειριστούν τα φορτία εργασίας AI, οδηγώντας σε υπερβολική κατανάλωση ενέργειας.

Αυτό οφείλεται στο γεγονός ότι οι απαιτήσεις εύρους ζώνης για την εκτέλεση συμπερασμάτων AI οδηγούν τις GPU να περνούν πολύ χρόνο σε αδράνεια, περιμένοντας να έρθουν δεδομένα από την DRAM. Η μετακίνηση δεδομένων από την DRAM σημαίνει επίσης υψηλότερη κατανάλωση ενέργειας παράλληλα με τη μειωμένη απόδοση και την πρόσθετη καθυστέρηση. Αυτό σημαίνει ότι στη συνέχεια αυξάνονται οι απαιτήσεις ψύξης.

Η λύση, υποστηρίζει η εν λόγω εταιρεία, είναι η εξειδικευμένη αρχιτεκτονική DIMC που μετριάζει πολλά από τα προβλήματα στις GPU. Η D-Matrix ισχυρίζεται ότι η λύση της μπορεί να μειώσει το κόστος κατά 10 έως 20 φορές - και σε ορισμένες περιπτώσεις έως και 60 φορές.

Πέρα από την τεχνολογία της d-Matrix, άλλοι παίκτες αρχίζουν να εμφανίζονται στον αγώνα για να ξεπεράσουν την H100 της Nvidia. Η IBM παρουσίασε τον Αύγουστο ένα νέο αναλογικό τσιπ τεχνητής νοημοσύνης που μιμείται τον ανθρώπινο εγκέφαλο και μπορεί να αποδώσει έως και 14 φορές πιο αποτελεσματικά.