Η AMD παρουσιάζει το Gaia: νέο open source εργαλείο για τοπική εκτέλεση LLMs σε κάθε Windows PC

Η AMD ανακοίνωσε το Gaia, ένα νέο open-source project που επιτρέπει την τοπική εκτέλεση μεγάλων γλωσσικών μοντέλων (LLMs) σε οποιοδήποτε PC με Windows, με επιπλέον βελτιστοποιήσεις για υπολογιστές που διαθέτουν Ryzen AI επεξεργαστές.

Το Gaia αξιοποιεί το Lemonade SDK, μια ανοιχτού κώδικα πλατφόρμα inference από την ONNX TurnkeyML, για να υποστηρίξει μοντέλα τεχνητής νοημοσύνης σε εργασίες όπως σύνοψη, διαλόγους, αναζήτηση και συλλογιστική. Ειδικά στους Ryzen AI Max 395+ επεξεργαστές, η εφαρμογή αξιοποιεί τον XDNA NPU και την ενσωματωμένη RDNA GPU για επιτάχυνση, προσφέροντας υψηλότερη απόδοση.

Το Gaia βασίζεται σε έναν Retrieval-Augmented Generation (RAG) agent, έναν μηχανισμό που συνδυάζει LLM με τοπική βάση γνώσης για πιο ακριβείς και προσαρμοσμένες απαντήσεις. Περιλαμβάνει τέσσερις προκαθορισμένους agents:

• Simple Prompt Completion: για απλές αλληλεπιδράσεις και δοκιμές
• Chaty: τον βασικό συνομιλητή (chatbot)
• Clip: agent που αλληλεπιδρά με YouTube για αναζήτηση και ερωταπαντήσεις
• Joker: δημιουργία χιουμοριστικών απαντήσεων με προσωπικότητα

Η εφαρμογή προσφέρει δύο εκδόσεις εγκατάστασης:

• Μια κανονική έκδοση για κάθε υπολογιστή με Windows, ανεξαρτήτως hardware
• Μια Hybrid έκδοση, ειδικά βελτιστοποιημένη για Ryzen AI, η οποία αξιοποιεί πλήρως τις εξειδικευμένες μονάδες επεξεργασίας για AI

Το Gaia μπορεί να λειτουργήσει offline, παρέχοντας χαμηλή καθυστέρηση, καλύτερη ασφάλεια, και δυνατότητα επεξεργασίας ευαίσθητων δεδομένων τοπικά. Είναι η απάντηση της AMD σε εφαρμογές όπως το LM Studio και το NVIDIA ChatRTX, σε μια εποχή που η τοπική χρήση LLM γίνεται ολοένα και πιο δημοφιλής.

Το project είναι διαθέσιμο μέσω GitHub και αποτελεί ένα ακόμα βήμα της AMD προς την προσιτή, τοπική AI επεξεργασία για όλους.