Aπώλεια δεδομένων καταγραφής υπέστη η cloudflare, λόγω σφάλματος στην υπηρεσία logpush

Στις 14 Νοεμβρίου 2024, η Cloudflare ανακοίνωσε ότι περίπου το 55% των δεδομένων καταγραφής που διαβιβάζονται στους πελάτες χάθηκαν εξαιτίας σφάλματος στη διαδικασία συλλογής logs. Το συμβάν διήρκησε 3,5 ώρες, που επηρέασε την πλειοψηφία των πελατών που χρησιμοποιούν τις υπηρεσίες Cloudflare Logs. Το πρόβλημα αποδόθηκε σε σφάλμα διαμόρφωσης στο Logfwdr, έναν κρίσιμο μηχανισμό υπεύθυνο για τη διαβίβαση καταγραφών από το δίκτυο της Cloudflare σε εξωτερικά συστήματα.

Το Logfwdr εισήγαγε κατά λάθος μια άδεια διαμόρφωση, η οποία έδινε εντολή στο σύστημα να θεωρεί ότι δεν υπήρχαν πελάτες για τους αποσταλούν logs. Αν και το σύστημα διαθέτει μηχανισμούς ασφαλείας, αυτό το λάθος προκάλεσε τεράστια αύξηση του όγκου επεξεργασίας, υπερφορτώνοντας το Buftee, το σύστημα προσωρινής αποθήκευσης των logs. Μέσα σε πέντε λεπτά, το Buftee κατέρρευσε, απαιτώντας πλήρη επανεκκίνηση και οδηγώντας σε επιπλέον απώλεια δεδομένων.

Για την αποτροπή άλλων τέτοιων περιστατικών στο μέλλον, η Cloudflare έχει εφαρμόσει νέα μέτρα ασφαλείας. Ανέπτυξε ένα σύστημα ανίχνευσης και ειδοποίησης για τέτοια σφάλματα και προχώρησε σε σωστή διαμόρφωση του Buftee για την αποφυγή υπερφόρτωσης. Παράλληλα, προγραμματίζει τακτικές δοκιμές προσομοίωσης απρόσμενων αυξήσεων στον όγκο δεδομένων, ώστε να διασφαλίσει την ανθεκτικότητα των μηχανισμών ασφαλείας.

Το περιστατικό αυτό τονίζει τη σημασία του σχολαστικού ελέγχου στις διαμορφώσεις και την προσοχή στους μηχανισμούς failsafe. Για την Cloudflare, αποτελεί υπενθύμιση ότι η διατήρηση της αξιοπιστίας απαιτεί συνεχή επένδυση στην πρόληψη και τη διαχείριση κρίσεων. Οι πελάτες της αναμένουν πλέον αποτελεσματική προστασία από παρόμοια περιστατικά.