Το ChatGPT πλέον βρίσκει και διορθώνει σφάλματα στον κώδικα

Το ChatGPT έχει δοκιμαστεί αρκετά τον τελευταίο καιρόκαι η τελευταία του πρόκληση έρχεται από ερευνητές της επιστήμης των υπολογιστών στο Πανεπιστήμιο Johannes Gutenberg και το University College του Λονδίνου, οι οποίοι είδαν ότι το ChatGPT μπορεί να εντοπίσει σφάλματα σε δείγμα κώδικα και να τα διορθώσει καλύτερα από τα υπάρχοντα προγράμματα που έχουν σχεδιαστεί για να κάνουν το ίδιο.

Οι ερευνητές έδωσαν 40 κομμάτια κώδικα με λάθη σε τέσσερα διαφορετικά συστήματα διόρθωσης κώδικα: ChatGPT, Codex, CoCoNut και Standard APR. Ουσιαστικά, ρώτησαν το ChatGPT: "Τι συμβαίνει με αυτόν τον κωδικό;"

Στο πρώτο πέρασμα, το ChatGPT απέδωσε περίπου το ίδιο καλά με τα άλλα συστήματα. Το ChatGPT έλυσε 19 προβλήματα, το Codex έλυσε 21, το CoCoNut έλυσε 19 και το Standard APR έλυσε επτά. Οι ερευνητές βρήκαν ότι οι απαντήσεις του μοιάζουν περισσότερο με το Codex, κάτι που «δεν ήταν περίεργο, καθώς το ChatGPT και το Codex προέρχονται από την ίδια οικογένεια γλωσσικών μοντέλων».

Ωστόσο, η δυνατότητα συνομιλίας με το ChatGPT μετά τη λήψη της αρχικής απάντησης έκανε τη διαφορά, οδηγώντας τελικά στο ChatGPT να λύσει 31 ερωτήσεις και να ξεπεράσει εύκολα τις άλλες, οι οποίες παρείχαν πιο στατικές απαντήσεις.

"Ένα ισχυρό πλεονέκτημα του ChatGPT είναι ότι μπορούμε να αλληλεπιδράσουμε με το σύστημα σε έναν διάλογο για να καθορίσουμε ένα αίτημα με περισσότερες λεπτομέρειες", αναφέρει η έκθεση των ερευνητών. "Βλέπουμε ότι για τα περισσότερα από τα αιτήματά μας, το ChatGPT ζητά περισσότερες πληροφορίες σχετικά με το πρόβλημα και το σφάλμα. Παρέχοντας τέτοιες υποδείξεις στο ChatGPT, το ποσοστό επιτυχίας του μπορεί να αυξηθεί περαιτέρω, διορθώνοντας 31 από τα 40 σφάλματα, ξεπερνώντας τα υπόλοιπα."

Διαπίστωσαν ότι το ChatGPT ήταν σε θέση να λύσει γρήγορα ορισμένα προβλήματα, ενώ άλλα έκαναν περισσότερα βήματα για τη λύση τους. «Το ChatGPT φαίνεται να έχει σχετικά υψηλή απόκλιση στην επιδιόρθωση σφαλμάτων», λέει η μελέτη. "Για έναν τελικό χρήστη, ωστόσο, αυτό σημαίνει ότι μπορεί θα ήταν χρήσιμο αν εκτελούνται τα αιτήματα πολλές φορές."

Για παράδειγμα, όταν οι ερευνητές έκαναν την ερώτηση που απεικονίζεται παρακάτω, περίμεναν ότι το ChatGPT θα συνιστούσε την αντικατάσταση του n^=n-1 με το n&=n-1, αλλά το πρώτο πράγμα που είπε το ChatGPT ήταν: "Δεν μπορώ να καταλάβω αν το πρόγραμμα έχει ένα σφάλμα χωρίς περισσότερες πληροφορίες σχετικά με την αναμενόμενη συμπεριφορά." Στην τρίτη απάντηση του ChatGPT, μετά από περισσότερες προτροπές από τους ερευνητές, βρήκε το πρόβλημα.

(Πηγή: Dominik Sobania, Martin Briesch, Carol Hanna, Justyna Petke)

Ωστόσο, όταν το PCMag εισήγαγε την ίδια ερώτηση στο ChatGPT, απάντησε διαφορετικά. Αντί να χρειάζεται να του πει ποια είναι η αναμενόμενη συμπεριφορά, μάντεψε ποια ήταν. Το ChatGPT μαθαίνει πάντα με βάση τις εισροές των χρηστών και φαίνεται ότι έμαθε τι προορίζεται να κάνει αυτό το κομμάτι κώδικα—ίσως από τους ερευνητές που έκαναν τη μελέτη. Η ανταλλαγή που είχαν οι συντάκτες του περιοδικού ήταν διαφορετική από εκείνη των ερευνητών και πιθανότατα θα είναι διαφορετική και την επόμενη φορά.

(Πηγή: Emily Dreibelbis/ChatGPT)

Η επιτυχία της μελέτης έχει τη δυνατότητα να επαναπροσδιορίσει την υπάρχουσα βιομηχανία 600 εκατομμυρίων δολαρίων που είναι αφιερωμένη στη βοήθεια των μηχανικών λογισμικού να βρουν και να διορθώσουν σφάλματα. Δημοφιλείς πλατφόρμες όπως το Sentry έχουν γίνει τυπικά εργαλεία στις ομάδες λογισμικού, επιταχύνοντας σημαντικά την ικανότητά τους να δημιουργούν κώδικα εργασίας εκδίδοντας αναφορές για προβλήματα και προτείνοντας επιδιορθώσεις.

Ακριβώς όπως η Google σήμανε συναγερμό σχετικά με τα εντυπωσιακά αποτελέσματα αναζήτησης του ChatGPT, οι δάσκαλοι κλείνουν την πρόσβαση των μαθητών για να αποτρέψουν την εξαπάτηση. Το ChatGPT πέρασε πρόσφατα μια εξέταση MBA που εκδόθηκε από έναν καθηγητή στο Wharton, αν και ελάχιστα πάνω από τη βάση.

Οι εταιρείες που δημιουργούν λογισμικό επιδιόρθωσης σφαλμάτων —και οι ίδιοι οι μηχανικοί λογισμικού— το λαμβάνουν υπόψη. Ωστόσο, οι εταιρείες τεχνολογίας αντιμετωπίζουν ένα πρωτοφανές εμπόδιο στην ενσωμάτωση του ChatGPT σε μια πλατφόρμα όπως το Sentry στην τρέχουσα μορφή του. Αυτό το εμπόδιο, δεν είναι άλλο από το γεγονός ότι το ChatGPT στηρίζεται σε δημόσια βάση δεδομένων που είναι το τελευταίο πράγμα που θέλει μια εταιρεία· οι μηχανικοί της να τροφοδοτούν την πνευματική της ιδιοκτησία σε μια δημόσια βάση δεδομένων.

Η επόμενη κίνηση του ChatGPT είναι η κυκλοφορία μιας πληρωμένης έκδοσης, σύμφωνα με πληροφορίες για $42 το μήνα.