Ο Διευθύνων Σύμβουλος της OpenAI λέει ότι η εποχή των γιγαντιαίων μοντέλων τεχνητής νοημοσύνης έχει ήδη τελειώσει

Οι εκπληκτικές ικανότητες του ChatGPT, του chatbot από την νεοσύστατη εταιρεία OpenAI, έχουν προκαλέσει ένα κύμα νέου ενδιαφέροντος και επενδύσεων στην τεχνητή νοημοσύνη. Αλλά στα τέλη της περασμένης εβδομάδας, ο διευθύνων σύμβουλος της OpenAI προειδοποίησε ότι η ερευνητική στρατηγική που γέννησε το bot έχει εξαντληθεί και ότι δεν είναι σαφές από πού ακριβώς θα προέλθουν οι μελλοντικές εξελίξεις.

Η OpenAI έχει προσφέρει μια σειρά από εντυπωσιακές προόδους στην τεχνητή νοημοσύνη που λειτουργεί με τη γλώσσα τα τελευταία χρόνια, παίρνοντας υπάρχοντες αλγόριθμους μηχανικής μάθησης και κλιμακώνοντάς τους σε μέγεθος που προηγουμένως δεν είχε φανταστεί κανείς. Το GPT-4, το πιο πρόσφατο από αυτά τα έργα, πιθανότατα εκπαιδεύτηκε χρησιμοποιώντας τρισεκατομμύρια λέξεις κειμένου και πολλούς ισχυρούς επεξεργαστές, με την διαδικασία να κοστίζει πάνω από 100 εκατομμύρια δολάρια. Αλλά ο διευθύνων σύμβουλος της εταιρείας, Sam Altman, λέει ότι η περαιτέρω πρόοδος δεν θα προέλθει από τη μεγέθυνση των μοντέλων. "Νομίζω ότι βρισκόμαστε στο τέλος της εποχής όπου θα είναι αυτά τα γιγαντιαία μοντέλα", δήλωσε στο κοινό σε εκδήλωση που πραγματοποιήθηκε στο ΜΙΤ στα τέλη της περασμένης εβδομάδας. "Θα τα κάνουμε καλύτερα με άλλους τρόπους". Η δήλωση του Altman υποδηλώνει μια απροσδόκητη τροπή στην κούρσα για την ανάπτυξη και την εφαρμογή νέων αλγορίθμων τεχνητής νοημοσύνης. Από τότε που η OpenAI εγκαινίασε το ChatGPT τον Νοέμβριο, η Microsoft χρησιμοποίησε την υποκείμενη τεχνολογία για να προσθέσει ένα chatbot στη μηχανή αναζήτησης Bing, και η Google εγκαινίασε ένα αντίπαλο chatbot που ονομάζεται Bard. Πολλοί άνθρωποι έχουν σπεύσει να πειραματιστούν με τη χρήση του νέου είδους chatbot για να βοηθήσουν σε εργασιακές ή προσωπικές εργασίες. Εν τω μεταξύ, πολυάριθμες καλά χρηματοδοτημένες νεοσύστατες επιχειρήσεις, συμπεριλαμβανομένων των Anthropic, AI21, Cohere και Character.AI, ρίχνουν τεράστιους πόρους στην κατασκευή ολοένα και μεγαλύτερων αλγορίθμων σε μια προσπάθεια να φτάσουν την τεχνολογία του OpenAI. Η αρχική έκδοση του ChatGPT βασιζόταν σε μια ελαφρώς αναβαθμισμένη έκδοση του GPT-3, αλλά οι χρήστες μπορούν τώρα να έχουν πρόσβαση και σε μια έκδοση που τροφοδοτείται από το πιο ικανό GPT-4.

Η δήλωση του Altman υποδηλώνει ότι το GPT-4 θα μπορούσε να είναι η τελευταία σημαντική πρόοδος που θα προκύψει από τη στρατηγική της OpenAI να κάνει τα μοντέλα μεγαλύτερα και να τα τροφοδοτεί με περισσότερα δεδομένα. Δεν είπε τι είδους ερευνητικές στρατηγικές ή τεχνικές θα μπορούσαν να πάρουν τη θέση του. Στο έγγραφο που περιγράφει το GPT-4, η OpenAI αναφέρει ότι οι εκτιμήσεις του υποδηλώνουν φθίνουσες αποδόσεις από την αύξηση του μεγέθους των μοντέλων. Ο Altman δήλωσε ότι υπάρχουν επίσης φυσικά όρια στο πόσα κέντρα δεδομένων μπορεί να κατασκευάσει η εταιρεία και πόσο γρήγορα μπορεί να τα κατασκευάσει. Ο Nick Frosst, συνιδρυτής της Cohere, ο οποίος εργάστηκε προηγουμένως για την τεχνητή νοημοσύνη στην Google, λέει ότι η αίσθηση του Altman ότι η μεγέθυνση δεν θα λειτουργεί επ' αόριστον είναι αληθινή. Πιστεύει, επίσης, ότι η πρόοδος στους μετασχηματιστές, το είδος του μοντέλου μηχανικής μάθησης που βρίσκεται στην καρδιά του GPT-4 και των ανταγωνιστών του, βρίσκεται πέρα από την κλιμάκωση. "Υπάρχουν πολλοί τρόποι για να γίνουν οι μετασχηματιστές πολύ, πολύ καλύτεροι και πιο χρήσιμοι, και πολλοί από αυτούς δεν περιλαμβάνουν την προσθήκη παραμέτρων στο μοντέλο", λέει. Ο Frosst λέει ότι τα νέα σχέδια μοντέλων τεχνητής νοημοσύνης, ή αρχιτεκτονικές, και η περαιτέρω ρύθμιση με βάση την ανθρώπινη ανατροφοδότηση είναι πολλά υποσχόμενες κατευθύνσεις που πολλοί ερευνητές ήδη εξερευνούν.

Κάθε έκδοση της οικογένειας γλωσσικών αλγορίθμων του OpenAI αποτελείται από ένα τεχνητό νευρωνικό δίκτυο, ένα λογισμικό χαλαρά εμπνευσμένο από τον τρόπο με τον οποίο συνεργάζονται οι νευρώνες, το οποίο εκπαιδεύεται για να προβλέπει τις λέξεις που θα πρέπει να ακολουθούν μια δεδομένη σειρά κειμένου. Το πρώτο από αυτά τα γλωσσικά μοντέλα, το GPT-2, ανακοινώθηκε το 2019. Στη μεγαλύτερη μορφή του, είχε 1,5 δισεκατομμύριο παραμέτρους, ένα μέτρο του αριθμού των ρυθμιζόμενων συνδέσεων μεταξύ των ακατέργαστων τεχνητών νευρώνων του. Εκείνη την εποχή, αυτό ήταν εξαιρετικά μεγάλο σε σύγκριση με προηγούμενα συστήματα, εν μέρει χάρη στη διαπίστωση των ερευνητών του OpenAI ότι η κλιμάκωση έκανε το μοντέλο πιο συνεκτικό. Και η εταιρεία έκανε τον διάδοχο του GPT-2, το GPT-3, που ανακοινώθηκε το 2020, ακόμα μεγαλύτερο, με το επιβλητικό μέγεθος των 175 δισεκατομμυρίων παραμέτρων. Οι ευρείες ικανότητες αυτού του συστήματος να παράγει ποιήματα, μηνύματα ηλεκτρονικού ταχυδρομείου και άλλα κείμενα βοήθησαν να πειστούν άλλες εταιρείες και ερευνητικά ιδρύματα να ωθήσουν τα δικά τους μοντέλα τεχνητής νοημοσύνης σε παρόμοιο και ακόμη μεγαλύτερο μέγεθος. Μετά το ντεμπούτο του ChatGPT τον Νοέμβριο, οι δημιουργοί μιμιδίων και οι ειδικοί της τεχνολογίας υπέθεσαν ότι το GPT-4, όταν θα έφτανε, θα ήταν ένα μοντέλο ιλιγγιώδους μεγέθους και πολυπλοκότητας. Ωστόσο, όταν η OpenAI ανακοίνωσε τελικά το νέο μοντέλο τεχνητής νοημοσύνης, η εταιρεία δεν αποκάλυψε πόσο μεγάλο είναι - ίσως επειδή το μέγεθος δεν είναι πλέον το μόνο που έχει σημασία. Στην εκδήλωση του ΜΙΤ, ο Altman ρωτήθηκε αν η εκπαίδευση του GPT-4 κόστισε 100 εκατομμύρια δολάρια- απάντησε: "Είναι περισσότερο από αυτό".

Παρόλο που η OpenAI κρατάει μυστικό το μέγεθος και τις εσωτερικές λειτουργίες του GPT-4, είναι πιθανό ότι μέρος της ευφυΐας του προέρχεται ήδη από το να κοιτάζει πέρα από την απλή κλίμακα. Μια πιθανότητα είναι ότι χρησιμοποίησε μια μέθοδο που ονομάζεται ενισχυτική μάθηση με ανθρώπινη ανατροφοδότηση, η οποία χρησιμοποιήθηκε για την ενίσχυση του ChatGPT. Περιλαμβάνει το να κρίνουν οι άνθρωποι την ποιότητα των απαντήσεων του μοντέλου για να το κατευθύνουν προς την παροχή απαντήσεων που είναι πιο πιθανό να κριθούν ως υψηλής ποιότητας. Οι αξιοσημείωτες δυνατότητες του GPT-4 έχουν καταπλήξει ορισμένους ειδικούς και έχουν προκαλέσει συζήτηση σχετικά με τη δυνατότητα της τεχνητής νοημοσύνης να μεταμορφώσει την οικονομία, αλλά και να διαδώσει παραπληροφόρηση και να καταργήσει θέσεις εργασίας. Ορισμένοι ειδικοί σε θέματα τεχνητής νοημοσύνης, επιχειρηματίες τεχνολογίας, συμπεριλαμβανομένου του Elon Musk, και επιστήμονες έγραψαν πρόσφατα μια ανοιχτή επιστολή, με την οποία ζητούν εξάμηνη παύση στην ανάπτυξη οτιδήποτε ισχυρότερου από το GPT-4.

Στο ΜΙΤ την περασμένη εβδομάδα, ο Altman επιβεβαίωσε ότι η εταιρεία του δεν αναπτύσσει επί του παρόντος το GPT-5. "Μια προηγούμενη έκδοση της επιστολής ισχυριζόταν ότι η OpenAI εκπαιδεύει το GPT-5 αυτή τη στιγμή", δήλωσε. "Δεν το κάνουμε, και δεν θα το κάνουμε για κάποιο χρονικό διάστημα".