Εταιρείες ΤΝ αναζητούν δεδομένα που παράγονται από ΤΝ για αναδρομική εκπαίδευση

Φαίνεται ότι οι εταιρείες τεχνητής νοημοσύνης, όπως η Microsoft, η OpenAI και η Cohere, κάνουν ό,τι μπορούν για να βρουν συνθετικά δεδομένα με τα οποία θα εκπαιδεύσουν τα προϊόντα τεχνητής νοημοσύνης τους. Επικαλούμενες την περιορισμένη διαθεσιμότητα "οργανικών" δεδομένων που δημιουργούνται από τον άνθρωπο στον παγκόσμιο ιστό, οι εταιρείες αυτές στοχεύουν να χρησιμοποιήσουν δεδομένα που δημιουργούνται από την ΤΝ (συνθετικά) σε ένα είδος άπειρου βρόχου, όπου η εκπαίδευση επιτυγχάνεται σε δεδομένα που έχουν ήδη δημιουργηθεί παραγωγικά.

"Αν μπορούσατε να πάρετε όλα τα δεδομένα που χρειάζεστε από τον παγκόσμιο ιστό, αυτό θα ήταν φανταστικό", δήλωσε στους Financial Times ο Aidan Gomez, διευθύνων σύμβουλος της νεοφυούς εταιρείας LLM Cohere, η οποία έχει προϋπολογισμό 2 δισεκατομμύρια δολάρια. "Στην πραγματικότητα, ο ιστός είναι τόσο θορυβώδης και ακατάστατος που δεν είναι πραγματικά αντιπροσωπευτικός των δεδομένων που θέλετε. Ο ιστός απλώς δεν κάνει όλα όσα χρειαζόμαστε".

Και υπάρχει και το θέμα του κόστους, καθώς τα δεδομένα που παράγονται από τον άνθρωπο, σύμφωνα με τον Gomez, είναι "εξαιρετικά ακριβά". Αυτό έχει ήδη οδηγήσει στην ίδρυση ορισμένων εταιρειών "συνθετικών δεδομένων", όπως η Gretel.ai, η οποία ειδικεύεται στην παραγωγή συνθετικών συνόλων δεδομένων που στη συνέχεια πωλούνται για εκπαιδευτικούς σκοπούς.

Το πρόβλημα της διαθεσιμότητας και της προέλευσης των δεδομένων είναι ένας από τους μεγαλύτερους περιοριστικούς παράγοντες στη σημερινή εποχή της τεχνητής νοημοσύνης. Σήμερα, υπάρχουν πραγματικοί κίνδυνοι στην εκπαίδευση δικτύων ΤΝ με συνθετικά δεδομένα που έχουν ήδη "μασήσει" και παραχθεί από τις ίδιες τις ΤΝ. Πρώτον, υπάρχει το ζήτημα της επιδείνωσης των ελλείψεων των βασικών δεδομένων εκπαίδευσης: εάν το αρχικό, μη συνθετικό σύνολο δεδομένων εκπαίδευσης υπέφερε ήδη από προκαταλήψεις, οι ίδιες προκαταλήψεις θα συμπεριληφθούν, θα χωνευτούν και θα ενισχυθούν στις επόμενες επαναλήψεις εκπαίδευσης, αυξάνοντας τη σχετικότητά του.

Αλλά ένα άλλο, ίσως πολύ πιο σημαντικό ζήτημα προκύπτει από ένα πρόσφατα ανακαλυφθέν όριο: η ποιότητα των αποτελεσμάτων υποβαθμίζεται σοβαρά μετά από πέντε γύρους εκπαίδευσης σε συνθετικά δεδομένα που δημιουργούνται από την ΤΝ. Το κατά πόσον αυτή η συνθήκη "MAD" αποτελεί ένα μαλακό ή σκληρό όριο προς την εκπαίδευση της ΤΝ φαίνεται να είναι ένα ερώτημα που βρίσκεται στο επίκεντρο της πρόθεσης της Microsoft και της OpenAI να εκπαιδεύσουν αναδρομικά τα δίκτυα ΤΝ τους. Ωστόσο, πρόκειται για έναν χώρο που πιθανότατα θα δει έναν καταιγισμό μελετών- η Microsoft Research, για παράδειγμα, έχει δημοσιεύσει εργασίες σχετικά με αναδρομικά παραγόμενες σύντομες ιστορίες (που σημαίνει ότι ένα μοντέλο εκπαιδεύτηκε σε ιστορίες που δημιουργήθηκαν από ένα άλλο μοντέλο) και ένα δίκτυο ΤΝ κωδικοποίησης που εκπαιδεύτηκε σε τεκμηρίωση που δημιούργησε η ΤΝ γύρω από τον προγραμματισμό Python. Η επαλήθευση των κινδύνων εκφυλισμού των δεδομένων σε αυτά και σε άλλα, μεγαλύτερου μεγέθους μοντέλα (όπως το Llama 2 με 70Β παραμέτρους, που κυκλοφόρησε πρόσφατα σε ανοιχτό κώδικα από τη Meta) θα είναι το κλειδί για το πόσο μακριά (και πόσο γρήγορα) θα εξελιχθεί η τεχνητή νοημοσύνη στο άμεσο μέλλον.

Με τις εταιρείες που ασχολούνται με την τεχνητή νοημοσύνη να ζητούν όλο και περισσότερα δεδομένα, είναι λογικό να προσπαθούν να δημιουργήσουν αναδρομικά σύνολα δεδομένων υψηλής ποιότητας. Αυτό μπορεί να γίνει με πολλαπλούς τρόπους, αλλά ίσως αυτός με τις μεγαλύτερες πιθανότητες επιτυχίας προέρχεται από το να αφήσουμε απλώς δύο δίκτυα ΤΝ να αλληλεπιδράσουν μεταξύ τους, με το ένα να παίρνει το ρόλο του δασκάλου και το άλλο το ρόλο του μαθητή. Η ανθρώπινη παρέμβαση θα ήταν (και θα είναι πάντα) απαραίτητη, ωστόσο, προκειμένου να διαλέγονται τα σημεία δεδομένων χαμηλότερης ποιότητας και να ελέγχονται οι "ψευδαισθήσεις" (επιβεβαιώσεις της ΤΝ που δεν είναι αληθινές).

Υπάρχουν κάποια εμπόδια στο δρόμο προς το τεχνοκρατικό όνειρο μιας αυτοαναπτυσσόμενης, αυτοδιδασκόμενης τεχνητής νοημοσύνης- μοντέλα που μπορούν να έχουν εσωτερικές συζητήσεις, εσωτερικές ανακαλύψεις και που παράγουν νέα γνώση που δεν είναι απλή ανάμειξη και αντιστοίχιση (αν και αυτό είναι ένα από τα χαρακτηριστικά της δημιουργικής παραγωγής, άλλωστε).

Φυσικά, πρέπει να έχουμε κατά νου ότι δεν είναι όλα τα όνειρα ευχάριστα. Έχουμε ήδη πρόβλημα να αντιμετωπίσουμε τους εφιάλτες που προκαλούνται από τον άνθρωπο- δεν μπορούμε να πούμε πόσο επιδραστικοί μπορεί να είναι οι "εφιάλτες" μιας μηχανής, ίσως μέχρις ότου μάθουμε, αν ονειρεύεται ηλεκτρικά πρόβατα.