Η Meta αποκαλύπτει το μοντέλο τεχνητής νοημοσύνης ανοικτού κώδικα LLaMA 2 για εμπορική χρήση

Σε μια εντυπωσιακή ανακοίνωση σήμερα που σχεδιάστηκε για να συμπέσει με το συνέδριο Microsoft Inspire, η Meta ανακοίνωσε το νέο μοντέλο τεχνητής νοημοσύνης LLaMA 2 (Large Language Model Meta AI). Αυτό το νέο μεγάλο γλωσσικό μοντέλο (LLM) όχι μόνο είναι πλέον διαθέσιμο, αλλά είναι επίσης ανοικτού κώδικα και διατίθεται ελεύθερα για εμπορική χρήση - σε αντίθεση με το πρώτο LLaMA, το οποίο είχε άδεια χρήσης μόνο για ερευνητικούς σκοπούς.

Η είδηση αυτή, σε συνδυασμό με την ξεκάθαρη υποστήριξη της Microsoft για το LLaMA 2, σημαίνει ότι ο ταχέως εξελισσόμενος κόσμος της παραγωγικής τεχνητής νοημοσύνης μόλις μετατοπίστηκε για άλλη μια φορά. Τώρα οι πολλές επιχειρήσεις που σπεύδουν να αγκαλιάσουν την ΤΝ, έστω και με προσοχή, έχουν άλλη μια επιλογή, και αυτή είναι εντελώς δωρεάν - σε αντίθεση με το ChatGPT Plus του ηγέτη και αντιπάλου της OpenAI, ή τους διεκδικητές όπως η Cohere.

Οι φήμες γύρω από τη νέα έκδοση του LLaMA στροβιλίζονται στον κλάδο εδώ και τουλάχιστον ένα μήνα, καθώς γερουσιαστές των ΗΠΑ ρωτούσαν τη Meta σχετικά με τη διαθεσιμότητα του μοντέλου AI.

Η πρώτη έκδοση του LLaMA ήταν διαθέσιμη για ακαδημαϊκούς και ερευνητές με ερευνητική άδεια χρήσης. Ωστόσο, τα βάρη του μοντέλου που διέπουν το LLaMA διέρρευσαν, προκαλώντας κάποια διαμάχη που οδήγησε στην κυβερνητική έρευνα. Με το LLaMA 2, η Meta παραμερίζει την προηγούμενη διαμάχη και προχωρά με ένα πιο ισχυρό μοντέλο που θα είναι ευρύτερα χρησιμοποιήσιμο από τον προκάτοχό του και ενδεχομένως θα ταρακουνήσει ολόκληρο το τοπίο της LLM.

Η διπλωματία της Microsoft στην τεχνητή νοημοσύνη

Το μοντέλο LLaMA 2 διατίθεται στο Microsoft Azure. Αυτό είναι αξιοσημείωτο δεδομένου ότι το Azure είναι επίσης η βάση για το OpenAI και την οικογένεια GPT-3/GPT-4 των LLM. Η Microsoft είναι επενδυτής τόσο στην πρώην εταιρεία της Meta, το Facebook, όσο και στην OpenAI.

Ο ιδρυτής και διευθύνων σύμβουλος της Meta, Mark Zuckerberg, είναι ιδιαίτερα ενθουσιασμένος με το γεγονός ότι η LLaMA είναι ανοικτού κώδικα. Σε δήλωσή του, ο Zuckerberg σημείωσε ότι η Meta έχει μακρά ιστορία με τον ανοιχτό κώδικα και έχει κάνει πολλές αξιοσημείωτες συνεισφορές, ιδιαίτερα στην τεχνητή νοημοσύνη με το πλαίσιο μηχανικής μάθησης PyTorch.

"Ο ανοιχτός κώδικας προωθεί την καινοτομία επειδή επιτρέπει σε πολλούς περισσότερους προγραμματιστές να χτίζουν με νέα τεχνολογία", δήλωσε ο Zuckerberg. "Βελτιώνει επίσης την ασφάλεια και την προστασία, διότι όταν το λογισμικό είναι ανοιχτό, περισσότεροι άνθρωποι μπορούν να το εξετάσουν διεξοδικά για να εντοπίσουν και να διορθώσουν πιθανά προβλήματα. Πιστεύω ότι θα ξεκλειδώσει περισσότερη πρόοδο αν το οικοσύστημα ήταν πιο ανοιχτό, γι' αυτό και ανοίγουμε το Llama 2".

Σε μήνυμά του στο Twitter, ο Yann LeCun, αντιπρόεδρος και επικεφαλής επιστήμονας τεχνητής νοημοσύνης της Meta, χαιρέτισε επίσης την έκδοση με ανοιχτό κώδικα.

"Αυτό είναι τεράστιο: [το LLaMA 2] είναι ανοιχτού κώδικα, με άδεια που επιτρέπει την εμπορική χρήση!" έγραψε ο LeCun. "Αυτό πρόκειται να αλλάξει το τοπίο της αγοράς LLM. Το [LLaMA 2] είναι διαθέσιμο στο Microsoft Azure και θα είναι διαθέσιμο στο AWS, στο Hugging Face και σε άλλους παρόχους"

Τι υπάρχει μέσα στο LLaMA;

Το LLaMA είναι ένα αυτοπαλινδρομικό γλωσσικό μοντέλο που βασίζεται σε μετασχηματισμούς. Η πρώτη έκδοση του LLaMA παρουσιάστηκε δημόσια λεπτομερώς από τη Meta τον Φεβρουάριο ως ένα μοντέλο 65 δισεκατομμυρίων παραμέτρων, ικανό για ένα ευρύ φάσμα κοινών εργασιών δημιουργικής τεχνητής νοημοσύνης.

Αντίθετα, το LLaMA 2 διαθέτει διάφορα μεγέθη μοντέλου, συμπεριλαμβανομένων 7, 13 και 70 δισεκατομμυρίων παραμέτρων. Η Meta ισχυρίζεται ότι τα προ-εκπαιδευμένα μοντέλα έχουν εκπαιδευτεί σε ένα τεράστιο σύνολο δεδομένων που ήταν κατά 40% μεγαλύτερο από αυτό που χρησιμοποιήθηκε για το LLaMA 1. Το μήκος πλαισίου έχει επίσης επεκταθεί σε δύο τρισεκατομμύρια tokens, διπλάσιο από το μήκος πλαισίου του LLaMA 1.

Το LLaMA όχι μόνο έχει εκπαιδευτεί σε περισσότερα δεδομένα, με περισσότερες παραμέτρους, αλλά το μοντέλο έχει επίσης καλύτερες επιδόσεις από τον προκάτοχό του, σύμφωνα με τα συγκριτικά στοιχεία που παρέχει η Meta.

Μέτρα ασφαλείας

Το LLaMA 2 δεν αφορά μόνο την ισχύ, αλλά και την ασφάλεια. Το LLaMA 2 εκπαιδεύεται πρώτα με δημόσια διαθέσιμα δεδομένα. Στη συνέχεια, το μοντέλο περνάει από μια σειρά σταδίων τελειοποίησης με επίβλεψη (SFT). Ως πρόσθετο επίπεδο, το LLaMA 2 επωφελείται στη συνέχεια από έναν κύκλο ενισχυτικής μάθησης από ανθρώπινη ανατροφοδότηση (RLHF) για να βοηθήσει στην παροχή ενός περαιτέρω βαθμού ασφάλειας και υπευθυνότητας.

Το ερευνητικό έγγραφο της Meta σχετικά με το LLaMA 2 παρέχει εξαντλητικές λεπτομέρειες σχετικά με τα ολοκληρωμένα βήματα που έχουν ληφθεί για την παροχή ασφάλειας και τον περιορισμό της πιθανής μεροληψίας.

"Είναι σημαντικό να κατανοήσουμε τι υπάρχει στα δεδομένα προ-εκπαίδευσης τόσο για να αυξήσουμε τη διαφάνεια όσο και για να ρίξουμε φως στις βασικές αιτίες πιθανών θεμάτων κατάντη, όπως οι πιθανές προκαταλήψεις", αναφέρεται στο έγγραφο. "Αυτό μπορεί να ενημερώσει για το ποιες, αν υπάρχουν, μετριαστικές ενέργειες κατάντη της διαδικασίας που πρέπει να εξεταστούν και να βοηθήσει στην καθοδήγηση της κατάλληλης χρήσης του μοντέλου".