Η Nvidia δίνει λεπτομέρειες για τη Neural Texture Compression, ισχυρίζεται σημαντικές βελτιώσεις σε σχέση με τις παραδοσιακές μεθόδους

Ένα από τα πιο καυτά θέματα αυτή τη στιγμή επικεντρώνεται γύρω από τα σύγχρονα ΑΑΑ παιχνίδια και τις απαιτήσεις συστήματός τους. Τόσο οι ελάχιστες όσο και οι συνιστώμενες προδιαγραφές έχουν αυξηθεί, και όπως είδαμε με τίτλους όπως το The Last of Us Part I, το Forspoken, το The Callisto Protocol και το Hogwarts Legacy, η εκτέλεσή τους ακόμη και σε 1080p με τη χρήση της προεπιλογής Ultra δημιουργεί πλέον προβλήματα για κάρτες γραφικών εξοπλισμένες με 8GB VRAM.

Κοιτάζοντας την τελευταία έρευνα του Steam, βλέπουμε ότι τα 8GB είναι το πιο συνηθισμένο μέγεθος VRAM για υπολογιστές με αποκλειστικές λύσεις γραφικών. Αυτό πιθανότατα δεν θα αλλάξει για λίγο καιρό, ειδικά από τη στιγμή που οι αναβαθμίσεις καρτών γραφικών εξακολουθούν να είναι ακριβές και οι κατασκευαστές GPU δεν φαίνεται να ενδιαφέρονται να προσφέρουν περισσότερα από 8GB μνήμης γραφικών στα περισσότερα mainstream μοντέλα. Τα καλά νέα είναι ότι η Nvidia εργάζεται πάνω σε μια λύση που θα μπορούσε να μειώσει τη χρήση της VRAM. Σε ένα ερευνητικό έγγραφο που δημοσιεύτηκε αυτή την εβδομάδα, η εταιρεία περιγράφει λεπτομερώς έναν νέο αλγόριθμο για τη συμπίεση υφής που υποτίθεται ότι είναι καλύτερος τόσο από τις παραδοσιακές μεθόδους συμπίεσης μπλοκ (BC) όσο και από άλλες προηγμένες τεχνικές συμπίεσης, όπως οι AVIF και JPEG-XL.

Ο νέος αλγόριθμος ονομάζεται συμπίεση νευρωνικών υφών (Neural Texture Compression - NTC) και όπως υποδηλώνει το όνομα χρησιμοποιεί ένα νευρωνικό δίκτυο σχεδιασμένο ειδικά για υφές υλικών. Για να γίνει αυτό αρκετά γρήγορο για πρακτική χρήση, οι ερευνητές της Nvidia κατασκεύασαν πολλά μικρά νευρωνικά δίκτυα βελτιστοποιημένα για κάθε υλικό. Όπως μπορείτε να δείτε από την παραπάνω εικόνα, οι υφές που συμπιέζονται με το NTC διατηρούν πολύ περισσότερες λεπτομέρειες, ενώ παράλληλα είναι σημαντικά μικρότερες ακόμη και από αυτές τις ίδιες υφές που συμπιέζονται με τεχνικές BC στο ένα τέταρτο της αρχικής ανάλυσης.

Στα σύγχρονα παιχνίδια, οι οπτικές ιδιότητες ενός υλικού αποθηκεύονται σε ξεχωριστούς χάρτες που περιγράφουν τον τρόπο με τον οποίο απορροφά και αντανακλά το φως, και η ποικιλία που χρησιμοποιείται διαφέρει από τη μία μηχανή παιχνιδιού στην άλλη. Κάθε χάρτης συσκευάζει συνήθως πρόσθετες, μειωμένες εκδόσεις του αρχικού χάρτη στο ίδιο αρχείο. Αυτοί οι λεγόμενοι "mipmaps" χρησιμοποιούνται για τη βελτιστοποίηση της χρήσης της μνήμης γραφικών όταν δεν απαιτείται η πλήρης ανάλυση της υφής, όπως όταν ένα συγκεκριμένο αντικείμενο βρίσκεται πολύ μακριά από το σημείο θέασης. Οι ερευνητές εξηγούν ότι η ιδέα πίσω από την προσέγγισή τους είναι να συμπιέσουν όλους αυτούς τους χάρτες μαζί με την αλυσίδα mipmap τους σε ένα ενιαίο αρχείο και στη συνέχεια να τους αποσυμπιέσουν σε πραγματικό χρόνο με την ίδια τυχαία πρόσβαση όπως η παραδοσιακή συμπίεση υφής μπλοκ.

Η συμπίεση δεκάδων χιλιάδων μοναδικών textures για ένα παιχνίδι απαιτεί επίσης χρόνο, αλλά η Nvidia λέει ότι ο νέος αλγόριθμος είναι υποτίθεται δέκα φορές ταχύτερος από τις τυπικές υλοποιήσεις του PyTorch. Για παράδειγμα, μια υφή υλικού 9 καναλιών 4K μπορεί να συμπιεστεί σε ένα έως 15 λεπτά χρησιμοποιώντας μια Nvidia RTX 4090, ανάλογα με το επίπεδο ποιότητας που έχετε ορίσει. Οι ερευνητές σημειώνουν ότι το NTC υποστηρίζει υφές με αναλύσεις έως και 8K (8.192 επί 8.192), αλλά δεν προσέφεραν στοιχεία επιδόσεων για ένα τέτοιο σενάριο.

Ένα προφανές πλεονέκτημα είναι ότι οι προγραμματιστές παιχνιδιών θα μπορέσουν να αξιοποιήσουν το NTC για να μειώσουν, ελπίζουμε, τις απαιτήσεις αποθήκευσης και VRAM για μελλοντικά παιχνίδια ή, τουλάχιστον, να μειώσουν το stuttering, τοποθετώντας περισσότερες υφές στο ίδιο frame buffer και μειώνοντας έτσι την ανάγκη εναλλαγής τους όταν μετακινείστε σε ένα λεπτομερές περιβάλλον. Ένα άλλο πλεονέκτημα είναι ότι το NTC βασίζεται στον πολλαπλασιασμό πινάκων, ο οποίος είναι γρήγορος στις σύγχρονες GPU και ακόμη πιο γρήγορος όταν χρησιμοποιούνται Tensor Cores στις GPU GeForce RTX.

Ωστόσο, το NTC έχει ορισμένους περιορισμούς που μπορεί να περιορίσουν την ελκυστικότητά του. Πρώτον, όπως συμβαίνει με κάθε συμπίεση με απώλειες, μπορεί να επιφέρει οπτική υποβάθμιση σε χαμηλούς ρυθμούς μετάδοσης. Οι ερευνητές παρατήρησαν ήπια θόλωση, αφαίρεση λεπτών λεπτομερειών, χρωματικές ζώνες, χρωματικές μετατοπίσεις και διαρροή χαρακτηριστικών μεταξύ των καναλιών υφής. Επιπλέον, οι καλλιτέχνες παιχνιδιών δεν θα μπορούν να βελτιστοποιήσουν τις υφές με τους ίδιους τρόπους που κάνουν σήμερα, για παράδειγμα, μειώνοντας την ανάλυση ορισμένων χαρτών υφής για λιγότερο σημαντικά αντικείμενα ή NPC. Η Nvidia αναφέρει ότι όλοι οι χάρτες πρέπει να έχουν το ίδιο μέγεθος πριν από τη συμπίεση, γεγονός που είναι βέβαιο ότι θα περιπλέξει τις ροές εργασίας. Αυτό ακούγεται ακόμη χειρότερο αν αναλογιστείτε ότι τα οφέλη του NTC δεν ισχύουν σε μεγαλύτερες αποστάσεις κάμερας. Ίσως τα μεγαλύτερα μειονεκτήματα του NTC έχουν να κάνουν με το φιλτράρισμα υφής. Όπως έχουμε δει με τεχνολογίες όπως το DLSS, υπάρχει πιθανότητα τρεμοπαίγματος της εικόνας και άλλων οπτικών τεχνουργημάτων όταν χρησιμοποιούνται υφές που έχουν συμπιεστεί μέσω NTC. Και ενώ τα παιχνίδια μπορούν να χρησιμοποιήσουν ανισοτροπικό φιλτράρισμα για να βελτιώσουν την εμφάνιση των υφών σε απόσταση με ελάχιστο κόστος απόδοσης, το ίδιο δεν είναι δυνατό με το NTC της Nvidia σε αυτό το σημείο.

Οι geeks των γραφικών και οι προγραμματιστές παιχνιδιών που θέλουν να μάθουν περισσότερα για το NTC μπορούν να βρουν το έγγραφο εδώ - αξίζει να το διαβάσετε. Η Nvidia θα παρουσιάσει επίσης τον νέο αλγόριθμο στο SIGGRAPH 2023, το οποίο ξεκινά στις 6 Αυγούστου.