Η Cloudflare εγκαινιάζει το No-Code Feature για να αποτρέψει το AI Content Scraping

Η Cloudflare Inc. παρουσίασε ένα χαρακτηριστικό χωρίς κώδικα που αποσκοπεί στο να αποτρέψει τους προγραμματιστές τεχνητής νοημοσύνης από την απόσπαση περιεχομένου ιστότοπων (web scraping). Η νέα αυτή δυνατότητα ενσωματώνεται στο δίκτυο παράδοσης περιεχομένου (CDN) της Cloudflare, το οποίο χρησιμοποιείται από σημαντικό μέρος του παγκόσμιου ιστού για τη βελτίωση των χρόνων φόρτωσης των σελίδων. Η δυνατότητα αποτροπής του scraping είναι πλέον προσβάσιμη στους χρήστες τόσο στη δωρεάν όσο και στην επί πληρωμή βαθμίδα της υπηρεσίας CDN.

Οι εταιρείες τεχνητής νοημοσύνης χρησιμοποιούν συχνά δημόσια διαθέσιμο διαδικτυακό περιεχόμενο για την εκπαίδευση μεγάλων γλωσσικών μοντέλων (LLM). Ενώ μεγάλες εταιρίες, όπως η OpenAI και η Google LLC, επιτρέπουν στους διαχειριστές ιστότοπων να μην επιτρέπουν το scraping, πολλοί προγραμματιστές LLM δεν προσφέρουν αυτή την επιλογή. Το νέο εργαλείο της Cloudflare αντιμετωπίζει αυτό το κενό χρησιμοποιώντας τεχνητή νοημοσύνη για τον εντοπισμό και τον αποκλεισμό των αυτοματοποιημένων προσπαθειών εξαγωγής περιεχομένου. Η εταιρεία ισχυρίζεται ότι το παγκόσμιο μοντέλο μηχανικής μάθησης μπορεί να ανιχνεύσει ακόμη και τα πιο εξελιγμένα bots που προσπαθούν να μεταμφιεστούν σε νόμιμη κυκλοφορία του προγράμματος περιήγησης.

Η λειτουργία έχει ήδη αποδείξει την αποτελεσματικότητά της εντοπίζοντας ένα bot που χρησιμοποιήθηκε από την Perplexity AI Inc., μια νεοσύστατη εταιρεία μηχανών αναζήτησης γνωστή για τις εξελιγμένες τεχνικές scraping. Σύμφωνα με την Cloudflare, κάθε αίτημα ιστού που επεξεργάζεται η πλατφόρμα της λαμβάνει βαθμολογία εμπιστοσύνης μεταξύ 1 και 99. Τα αιτήματα που πραγματοποιούνται από το bot της Perplexity AI βαθμολογούνται σταθερά κάτω από 30, υποδεικνύοντας υψηλή πιθανότητα αυτοματοποιημένης προέλευσης.

Η Cloudflare σχεδιάζει να ενημερώνει συνεχώς τη λειτουργία αποτροπής scraping για να συμβαδίζει με τις εξελισσόμενες τεχνολογίες των αυτοματοποιημένων αναζητήσεων. Η εταιρεία εισάγει επίσης ένα εργαλείο αναφοράς για τους διαχειριστές ιστότοπων για να επισημαίνουν νέες δραστηριότητες, εξασφαλίζοντας συνεχή προστασία από μη εξουσιοδοτημένο scraping.