Η Intel θα προσφέρει άλμα 5X στις επιδόσεις στην Τεχνητή Νοημοσύνη σε μόλις δύο γενιές επεξεργαστών

Για τον ελέφαντα στο δωμάτιο ότι η "τεχνητή νοημοσύνη" γίνεται train σε super computers δισ. $$ στο cloud και ότι έχουμε πρόσβαση στα γλωσσικά μοντέλα μέσω internet θα μιλήσει κανείς? Για ποια ακριβώς τεχνητή νοημοσύνη σε τοπικό επίπεδο μιλάνε? Το παραμύθι πάει σύννεφο....

28 minutes ago, gdp77 said:

Για τον ελέφαντα στο δωμάτιο ότι η "τεχνητή νοημοσύνη" γίνεται train σε super computers δισ. $$ στο cloud και ότι έχουμε πρόσβαση στα γλωσσικά μοντέλα μέσω internet θα μιλήσει κανείς? Για ποια ακριβώς τεχνητή νοημοσύνη σε τοπικό επίπεδο μιλάνε? Το παραμύθι πάει σύννεφο....

E στα data centers θα τους κουμπώνουνε, στα rack, τοπικά  

Ιντελ είναι αυτή, μπορείς να πάρεις στα σοβαρά αυτά που λένε; 

Το πιθανότερο πάντως είναι να τρώνε φάπες απ' τον undervolted 5800X3D στο gaming όπως όλοι τους οι επεξεργαστές μέχρι τώρα και αυτό είναι που έχει σημασία.

On a more serious note, αν και δεν είδα να αναφέρεται σε αυτό το άρθρο, όταν μιλάνε για local εννοούν το edge που και είναι το μεγάλο στοίχημα από πριν γίνει trendy και mainstream η "AI". 

Θυμάμαι χαρακτηριστικά σε συνέδριο applied ML πριν 5+ χρόνια ομιλητής να αναφέρει πως όποιος καταφέρει να τρέξει μοντέλα όπως το διάσημο τότε yolo στο edge και μάλιστα σε low power ARM devices θα είναι το next multitrillion dollar company.

18 λεπτά πριν, το μέλος Cyber_Cookie έγραψε:

Ιντελ είναι αυτή, μπορείς να πάρεις στα σοβαρά αυτά που λένε; 

 Καλά και η AMD τα ίδια ευαγγελίζεται για τις επόμενες γενιές cpu.

19 λεπτά πριν, το μέλος Cyber_Cookie έγραψε:

On a more serious note, αν και δεν είδα να αναφέρεται σε αυτό το άρθρο, όταν μιλάνε για local εννοούν το edge που και είναι το μεγάλο στοίχημα από πριν γίνει trendy και mainstream η "AI". 

Θυμάμαι χαρακτηριστικά σε συνέδριο applied ML πριν 5+ χρόνια ομιλητής να αναφέρει πως όποιος καταφέρει να τρέξει μοντέλα όπως το διάσημο τότε yolo στο edge και μάλιστα σε low power ARM devices θα είναι το next multitrillion dollar company.

Και πάλι δεν καταλαβαίνω. Υπάρχει περίπτωση να τρέχει οτιδήποτε "ΑI" τοπικά? Τι νόημα έχει. Εδώ για να φτάσουμε ένα min αποδεκτό επίπεδο (bard και chatGPT που και πάλι απέχουν χρόνια από το να μην απαντάνε μπαρούφες στις περισσότερες ερωτήσεις και το hallucination πάει σύννεφο) χρειάζονται δισ. $$ για training. Τι να κλάσει η όποια "επιτάχυνση" AI έχει ένας και μόνο CPU στο pc του χρήστη???? Τι μου διαφεύγει?

1 minute ago, gdp77 said:

Και πάλι δεν καταλαβαίνω. Υπάρχει περίπτωση να τρέχει οτιδήποτε "ΑI" τοπικά? Τι νόημα έχει. Εδώ για να φτάσουμε ένα min αποδεκτό επίπεδο (bard και chatGPT που και πάλι απέχουν χρόνια από το να μην απαντάνε μπαρούφες στις περισσότερες ερωτήσεις και το hallucination πάει σύννεφο) χρειάζονται δισ. $$ για training. Τι να κλάσει η όποια "επιτάχυνση" AI έχει ένας και μόνο CPU στο pc του χρήστη???? Τι μου διαφεύγει?

Τα chatbots είναι το 1% του οτιδήποτε μπαίνει στην ομπρέλα του "ΑΙ".

Τώρα επιτάχυνση σε Χ86 cpu, και desktop σύστημα, χρησιμοποιείται ήδη στην επεξεργασία εικόνας με μοντέλα όπως το DeepRPIME (και άλλα που είναι και για βίντεο) τα οποία τρέχουν τοπικά σε OpenCL και είναι αρκετά βαριά. Σε φάση που την 1660S μου όχι απλά την γονατίζουν, την ξεφτιλίζουν.

Και η διαφορά με το να τρέχει μόνο πάνω στον 5800x3d είναι 5-6 φορές benchαρισμένο. Δηλαδή εκεί που ένα export θα πάρει κάποια λεπτά με την 1660S με τον ryzen παίρνει ώρες. Οπότε σε τέτοια σενάρια μια cpu που είναι 5Χ καλύτερη θα φτάσει τις επιδόσεις μιας 1660S η οποία σε datacenter terms είναι μια Quadro P4000. Not too shabby huh?

Αλλά βέβαια αυτοί μιλάνε και για xeons, οπότε μάλλον θέλουν να απευθυνθούν σε ένα υβριδικό tier datacenters με cpu το οποίο θα είναι φθηνότερο από αυτά των gpu.

Γενικά το ai/ml στο edge (τοπικά) χρειάζεται στην τοπική επεξεργασία δεδομένων για λήψη αποφάσεων χωρίς latency overhead από το network.

Εφαρμογές;

Εκτός από την επεξεργασία εικόνας που ανέφερα, το ξεσκαρτάρισμα δεδομένων σε δίκτυα αισθητήρων, assistants που τρέχουν offline, αυτόνομη πλοήγηση σε πολύπλοκα περιβάλλοντα κλπ.

20 λεπτά πριν, το μέλος Cyber_Cookie έγραψε:

Τώρα επιτάχυνση σε Χ86 cpu, και desktop σύστημα, χρησιμοποιείται ήδη στην επεξεργασία εικόνας με μοντέλα όπως το DeepRPIME (και άλλα που είναι και για βίντεο) τα οποία τρέχουν τοπικά σε OpenCL και είναι αρκετά βαριά. Σε φάση που την 1660S μου όχι απλά την γονατίζουν, την ξεφτιλίζουν.

Οι γνώσεις μου στο πεδίο είναι περιορισμένες, αλλά και λογισμικά όπως το DeepPRIME δεν νομίζω να κάνουν τοπικά το όποιο training. Αυτό έχει ήδη γίνει φαντάζομαι και από κει και πέρα χρησιμοποιούνται διεργασίες που ευνοούνται από τρελό παραλληλισμό που μόνο οι GPU προσφέρουν. Δεν βλέπω πώς σε οποιοδήποτε σενάριο ένας CPU θα μπορέσει να ανταγωνιστεί οποιαδήποτε σύγχρονη dgpu. Θα διερευνήσω περαιτέρω το θέμα. thanx

24 λεπτά πριν, το μέλος Cyber_Cookie έγραψε:

Γενικά το ai/ml στο edge (τοπικά) χρειάζεται στην τοπική επεξεργασία δεδομένων για λήψη αποφάσεων χωρίς latency overhead από το network.

Θα ήθελα να δω ένα τέτοιο use case που να βασίζεται σε πραγματικό AI και όχι "marketing AI" που στην πραγματικότητα είναι απλά heuristics algorithms και άπειρα ifs....

25 λεπτά πριν, το μέλος Cyber_Cookie έγραψε:

το ξεσκαρτάρισμα δεδομένων σε δίκτυα αισθητήρων, assistants που τρέχουν offline, αυτόνομη πλοήγηση σε πολύπλοκα περιβάλλοντα κλπ.

όλα αυτά προϋποθέτουν training που και πάλι αποκλείω να γίνεται τοπικά από απλούς επεξεργαστές. Επίσης όλα τα παραπάνω δεν παίζουν με x86 αν δεν κάνω λάθος.

17 minutes ago, gdp77 said:

 

Οι γνώσεις μου στο πεδίο είναι περιορισμένες, αλλά και λογισμικά όπως το DeepPRIME δεν νομίζω να κάνουν τοπικά το όποιο training. Αυτό έχει ήδη γίνει φαντάζομαι και από κει και πέρα χρησιμοποιούνται διεργασίες που ευνοούνται από τρελό παραλληλισμό που μόνο οι GPU προσφέρουν. Δεν βλέπω πώς σε οποιοδήποτε σενάριο ένας CPU θα μπορέσει να ανταγωνιστεί οποιαδήποτε σύγχρονη dgpu. Θα διερευνήσω περαιτέρω το θέμα. thanx

Θα ήθελα να δω ένα τέτοιο use case που να βασίζεται σε πραγματικό AI και όχι "marketing AI" που στην πραγματικότητα είναι απλά heuristics algorithms και άπειρα ifs....

 

όλα αυτά προϋποθέτουν training που και πάλι αποκλείω να γίνεται τοπικά από απλούς επεξεργαστές. Επίσης όλα τα παραπάνω δεν παίζουν με x86 αν δεν κάνω λάθος.

Acceleration σε pretrained μοντέλα μαναμο λέμε. Γιατί μόνο training?