Cloudburst: Δύσκολα διδάγματα από την πυρκαγιά του κέντρου δεδομένων OVH

Σε κάθε επιτραπέζια άσκηση αποκατάστασης από καταστροφές σε κάθε κατάστημα πληροφορικής επιχείρησης, υπάρχει μια στιγμή που η προσοχή μετατοπίζεται απρόθυμα από απειλές υψηλού προφίλ – κακόβουλη εισβολή, κλοπή δεδομένων, ransomware – σε πιο κοσμικές (και φαινομενικά λιγότερο πιθανές) απειλές, όπως φυσικές καταστροφές, ατυχήματα , και αναταραχή χαμηλής τεχνολογίας.

Ό,τι λείπει από τους τυφώνες, τις εκρήξεις, τους σεισμούς, τις πυρκαγιές και τις πλημμύρες, συχνά αναπληρώνουν με αγριότητα. Η ιστορία είναι ξεκάθαρη: οι CIO πρέπει να δώσουν μεγαλύτερη έμφαση ανωτέρας βίας – μια πράξη του Θεού ή μια στιγμή χάους που απειλεί τη διαθεσιμότητα δεδομένων σε κλίμακα — όταν κάνουν τα σχέδιά τους.

Την ημέρα των Χριστουγέννων του 2020, μια βόμβα συσκευασμένη σε τροχόσπιτο αποδεκάτισε ένα τμήμα του κέντρου του Νάσβιλ του Τενεσί. Η παράπλευρη ζημία περιελάμβανε μια ανάπηρη εγκατάσταση μετάδοσης της AT&T, η οποία διέκοψε τις επικοινωνίες και την κυκλοφορία δικτύου σε τρεις πολιτείες και καθήλωσε τις πτήσεις στο διεθνές αεροδρόμιο του Νάσβιλ. Οι διακοπές για τους πελάτες των επιχειρήσεων και τους πελάτες τους διήρκεσαν για την υπόλοιπη περίοδο των εορτών.

Αυτή η εβδομάδα έφερε ακόμη πιο έντονες αποδείξεις της ανατρεπτικής δύναμης της καταστροφής. Μία από τις μεγαλύτερες εταιρείες φιλοξενίας cloud της Ευρώπης, η OVH Groupe SAS, πιο γνωστή ως OVHCloud, υπέστη καταστροφική πυρκαγιά στις εγκαταστάσεις της στο Στρασβούργο της Γαλλίας. Η πυρκαγιά σε ένα σύμπλεγμα από κουτί, μη περιγραφικές δομές – στην πραγματικότητα στοίβες από κοντέινερ που επαναχρησιμοποιήθηκαν για εξοικονόμηση κόστους κατασκευής – κατέστρεψε ολοσχερώς ένα από τα τέσσερα κέντρα δεδομένων της OVH στο σημείο και προκάλεσε μεγάλες ζημιές σε άλλο.

Οι αξιωματούχοι της OVH έσπευσαν να κρούουν τον κώδωνα του κινδύνου, με τον ιδρυτή και πρόεδρο Octave Klaba να προειδοποιεί ότι μπορεί να χρειαστούν εβδομάδες για να ανακάμψει πλήρως η εταιρεία και προτρέποντας τους πελάτες να εφαρμόζουν τα δικά τους σχέδια ανάκτησης δεδομένων.

Υποθέτοντας τα είχαν. Πολλοί δεν το έκαναν.

Τα ελάχιστα προστατευμένα δεδομένα παραμένουν ένα σημαντικό πρόβλημα για επιχειρήσεις κάθε είδους και μεγέθους. Το 2018, η Riverbank IT Management στο Ηνωμένο Βασίλειο διαπίστωσε ότι το 46% των ΜΜΕ (μικρές και μεσαίες επιχειρήσεις) δεν είχαν κανένα σχέδιο για δημιουργία αντιγράφων ασφαλείας και ανάκτηση. Οι περισσότερες εταιρείες (95%) απέτυχαν να λάβουν υπόψη όλα τα δεδομένα τους, εντός των εγκαταστάσεων και στο cloud, σε οποιαδήποτε εφεδρικά σχέδια και αν είχαν.

Τα αποτελέσματα μιας τέτοιας αδιακρισίας είναι δαπανηρά. Σύμφωνα με την Gartner, ο χρόνος διακοπής λειτουργίας βάσει δεδομένων κοστίζει στη μέση εταιρεία 300.000 $ ανά ώρα — δηλαδή 5.600 $ κάθε λεπτό. Η καταστροφή στις εγκαταστάσεις της OVH στις όχθες του Ρήνου κοντά στα γερμανικά σύνορα κατέστρεψε 3,6 εκατομμύρια ιστότοπους, από κυβερνητικές υπηρεσίες έως χρηματοπιστωτικά ιδρύματα έως εταιρείες τυχερών παιχνιδιών υπολογιστών, πολλές από τις οποίες παραμένουν σκοτεινές μέχρι τη στιγμή που γράφεται αυτό το άρθρο. Οι επηρεασμένοι παραπονέθηκαν σε ιστολόγια και μέσα κοινωνικής δικτύωσης ότι τα δεδομένα πολλών ετών χάθηκαν οριστικά στη φωτιά της OVH. Ο τελικός οικονομικός απολογισμός θα είναι συγκλονιστικός.

«Δεν προκαλούνται όλες οι καταστροφές δεδομένων από έναν ανατολικοευρωπαίο χάκερ που φορά κουκούλα», δήλωσε ο Kenneth R. van Wyk, πρόεδρος και κύριος σύμβουλος στην KRvW Associates, μια εταιρεία παροχής συμβουλών ασφαλείας και εκπαίδευσης στην Αλεξάνδρεια της Βιρτζίνια. «Μερικά προκαλούνται από τις πιο πεζές συνθήκες».

«Σίγουρα, πρέπει να λάβουμε υπόψη τις σύγχρονες απειλές ασφαλείας όπως το ransomware, [but] ας μην ξεχνάμε ποτέ τη δύναμη ενός εκσκαφέα που σκίζει μια γραμμή οπτικών ινών που τροφοδοτεί ένα κρίσιμο για τις επιχειρήσεις κέντρο δεδομένων».

«Πρόκειται για μια νοοτροπία να περιμένεις πάντα το χειρότερο», είπε ο van Wyk. «Οι επαγγελματίες ασφάλειας κοιτάζουν τα συστήματα και ρωτούν αμέσως «Τι μπορεί να πάει στραβά;» Κάθε ιδιοκτήτης επιχείρησης πρέπει να κάνει το ίδιο».

Σε αυτήν την εποχή της πανταχού παρουσίας μετανάστευσης στο cloud και του ψηφιακού μετασχηματισμού, τι μπορεί να κάνει η ηγεσία της πληροφορικής για να περιστρέψει τον οργανισμό ενάντια σε μεγάλους και μικρούς κινδύνους; Η απάντηση βρίσκεται στη σφαίρα της επιχειρηματικής συνέχειας και της αποκατάστασης από καταστροφές (BCDR). Αυτή η καλά κωδικοποιημένη πειθαρχία στην ασφάλεια των πληροφοριών είναι ένα κρίσιμο, αλλά συχνά λείπει, κομμάτι στη διαχείριση και τον μετριασμό επιχειρηματικών κινδύνων. Οι περισσότεροι οργανισμοί κατανοούν τους βασικούς κανόνες δέσμευσης όσον αφορά το BCDR, αλλά οι ειδικοί σε θέματα ασφάλειας συμφωνούν ότι η εκτέλεση συχνά στερείται αυστηρότητας και δέσμευσης.

«Ως CIO, θα ρωτούσα αμέσως: «Έχουμε δοκιμάσει πραγματικά τα αντίγραφα ασφαλείας και τις δυνατότητες ανάκτησης;» είπε ο ειδικός σε θέματα ασφάλειας cloud Dave Shackleford, ιδρυτής και κύριος σύμβουλος της Voodoo Security στο Roswell της Τζόρτζια. «Είτε βασίζονται σε σύννεφο είτε όχι, πάρα πολλοί οργανισμοί μετατρέπουν την αποκατάσταση από καταστροφές και τον σχεδιασμό και τις δοκιμές επιχειρηματικής συνέχειας σε «ασκήσεις σε χαρτί» χωρίς να διασφαλίζουν πραγματικά ότι είναι αποτελεσματικές».

Για τους οργανισμούς που θέλουν να προστατεύσουν βασικά ψηφιακά στοιχεία, αυτό που ο Shackleford θεωρεί μια αποτελεσματική προσέγγιση BCDR ξεκινά με μερικές βέλτιστες πρακτικές δοκιμασμένες στο χρόνο.

Ξεκινήστε με τον πάροχο

Ρωτήστε για τον πλεονασμό και τη γεωγραφική ανθεκτικότητα — και λάβετέ το γραπτώς. Η απώλεια δύο κέντρων δεδομένων cloud θα έχει πάντα ως αποτέλεσμα διακοπή και διακοπή λειτουργίας, ακόμη και για έναν κεντρικό υπολογιστή όπως ο OVH με 300.000 διακομιστές σε 14 εγκαταστάσεις σε όλη την Ευρώπη και 27 παγκοσμίως. Αλλά το πόσο οδυνηρή και παρατεταμένη είναι αυτή η απώλεια θα εξαρτηθεί σε μεγάλο βαθμό από την στιβαρότητα των πρωτοκόλλων δημιουργίας αντιγράφων ασφαλείας και αποτυχίας της εταιρείας φιλοξενίας.

Οι διαβεβαιώσεις, όπως ορίζονται στη συμφωνία επιπέδου υπηρεσιών (SLA), πρέπει επίσης να υπερβαίνουν την επεξεργασία και την αποθήκευση δεδομένων. Ένα μεγάλο μέρος των προβλημάτων της OVH που εδρεύει στο Roubaix προήλθε από την αποτυχία εφεδρικών τροφοδοτικών που κατέστρεψαν τους δικούς της προσαρμοσμένους διακομιστές — ακόμη και σε περιοχές που δεν επηρεάστηκαν από την πραγματική πυρκαγιά.

Αναζητήστε στοιχεία στο SLA που αφορούν όχι μόνο την εγγύηση υπηρεσίας αλλά και την καταλληλότητα για αποζημίωση και το επίπεδο της προσφερόμενης αποζημίωσης. Η προσφορά διαθεσιμότητας „five-nines“ είναι εξαιρετική, αλλά ο οικοδεσπότης θα πρέπει επίσης να επιδείξει δέσμευση για διάφορες συνδέσεις συγκοινωνίας. πολλαπλές πηγές ενέργειας· περιττές συσκευές δικτύωσης· και πολλαπλά, διακριτά στοιχεία αποθήκευσης στο backend.

Τακτοποιήστε το δικό σας σπίτι

Η υπευθυνότητα του κεντρικού υπολογιστή σας στο cloud είναι μια σταθερή αρχή, αλλά είναι σημαντικό να θυμάστε ότι, καθώς η εμπειρία του OVH δίνει απόλυτη ανακούφιση, το εταιρικό cloud δεν είναι κάποιο μυθικό βασίλειο άπειρων πόρων και αιώνιου χρόνου λειτουργίας. Η μεταφορά σημαντικών ψηφιακών στοιχείων στο cloud σημαίνει ότι θα ανταλλάξετε τη δική σας υποδομή με εκείνη ενός άλλου, κερδοσκοπικού συνεργάτη προμηθευτή.

Η πρώτη απαίτηση για τη μετανάστευση στο σύννεφο είναι να δημιουργηθεί ένα πλαίσιο για τον προσδιορισμό της σοφίας και της αποτελεσματικότητας μιας τέτοιας κίνησης στο cloud. Στη συνέχεια, πρέπει να υπάρχει ένα ολοκληρωμένο σχέδιο για την προστασία όλων όσων πιστεύει ο οργανισμός.

«Αποθέστε όλα τα κρίσιμα περιουσιακά σας στοιχεία», προτείνει ο van Wyk. «Ρωτήστε πόσο θα σας κόστιζε αν κάποιο από αυτά δεν ήταν διαθέσιμο, για οποιονδήποτε λόγο, για μια ώρα, μια μέρα, μια εβδομάδα. Ρωτήστε πώς θα επαναφέρατε την επιχείρησή σας εάν όλα στο απόθεμά σας εξατμίζονταν. Ποιος θα ήταν ο χρόνος διακοπής λειτουργίας; Μπορείτε να το αντέξετε οικονομικά; Ποιο είναι το Plan B σας;»

ο Cloud Security Alliance προσφέρει εξαιρετική καθοδήγηση κατά την προετοιμασία, την ανάλυση και την αιτιολόγηση έργων cloud με προσανατολισμό στον κίνδυνο, ιδιαίτερα με Cloud Controls Matrix (CCM).

Εάν η φιλοξενία τρίτου μέρους είναι εγγυημένη, θα πρέπει να καθοδηγείται από επίσημη πολιτική που καλύπτει ζητήματα όπως:

• Ορισμοί για συστήματα, τύπους δεδομένων και βαθμίδες ταξινόμησης που μπορούν να ληφθούν υπόψη σε μια εκτίμηση κινδύνου
• Διαβαθμισμένες εσωτερικές πολιτικές και πρότυπα που συνδέονται με κάθε επίπεδο ταξινόμησης
• Απαιτήσεις εφαρμογής και ασφάλειας
• Ειδικές απαιτήσεις συμμόρφωσης/ρυθμιστικές απαιτήσεις
• Και ένα σχέδιο BCDR που καλύπτει όλα τα περιουσιακά στοιχεία που έχουν ανατεθεί σε όλους τους τρίτους παρόχους

Δημιουργήστε πυρίμαχο αντίγραφο ασφαλείας

Κατανοήστε ότι θα συμβούν αποτυχίες. Η δημιουργία αντιγράφων ασφαλείας και η ανάκτηση είναι τόσο θεμελιώδεις για την τριάδα ασφαλείας της εμπιστευτικότητας, της ακεραιότητας και της διαθεσιμότητας δεδομένων (CIA) που απολαμβάνει τον δικό της τομέα στο Πλαίσιο Κυβερνοασφάλειας NIST. Το CSF του NIST ενθαρρύνει τους οργανισμούς να διασφαλίσουν ότι «οι διαδικασίες και οι διαδικασίες ανάκτησης εκτελούνται και διατηρούνται για να διασφαλιστεί η έγκαιρη αποκατάσταση συστημάτων ή περιουσιακών στοιχείων που επηρεάζονται από περιστατικά ασφάλειας στον κυβερνοχώρο».

Υπάρχουν πολλά που συμβαίνουν σε αυτή τη φράση, σίγουρα.

Η ανάπτυξη μιας ισχυρής προσέγγισης για την ανάκτηση που μπορεί να ικανοποιήσει το NIST και να αντέξει ένα καταστροφικό γεγονός όπως η πυρκαγιά του OVH απαιτεί περισσότερα από τον προγραμματισμό ορισμένων αυτοματοποιημένων αντιγράφων ασφαλείας και την ελπίδα για το καλύτερο.

Ο Van Wyk είπε ότι είναι καλή ιδέα να λάβετε πρόσθετες προφυλάξεις με τα ζωτικά επιχειρηματικά δεδομένα και την επεξεργασία σας και να διασφαλίσετε ότι θα μπορείτε πραγματικά να χρησιμοποιήσετε τα εφεδρικά σχέδιά σας σε διαφορετικά σενάρια έκτακτης ανάγκης.

Είτε τα κοσμήματα κορώνας των οργανισμών ζουν σε εγκαταστάσεις, σε υβριδικό περιβάλλον ή αποκλειστικά στο cloud, μια ώριμη και ρεαλιστική προσέγγιση BCDR θα πρέπει να περιλαμβάνει:

1. Κάνοντάς το επίσημο. Πρέπει να τεκμηριωθεί ένα πραγματικό, αποτελεσματικό σχέδιο αποκατάστασης από καταστροφές. Η γραπτή υποβολή του σχεδίου, για να συμπεριλάβει το ποιος, τι, πού, πότε και πώς βοηθά τους οργανισμούς να ποσοτικοποιήσουν τις απαιτούμενες ενέργειες για την πρόληψη, τον εντοπισμό, την αντίδραση και την επίλυση συμβάντων απώλειας δεδομένων.
2. Ποσοτικοποίηση δεδομένων σε κίνδυνο. Η επίσημη τεκμηρίωση BCDR είναι το καλύτερο μέρος για να συνδυάσετε ένα λεπτομερές σχήμα ταξινόμησης δεδομένων και ένα εφεδρικό μητρώο κινδύνου, που περιλαμβάνει μια ρεαλιστική σύνοψη των απειλών που αντιμετωπίζει ο οργανισμός, τις συνέπειες των χαμένων δεδομένων διαφόρων τύπων και ένα μενού μετριασμού.
3. Σύνταξη μερικών all-star. Μια ώριμη προσέγγιση BCDR απαιτεί περισσότερα από πολιτικές και διαδικασίες. Απαιτεί μια αφοσιωμένη ομάδα ενδιαφερομένων υπεύθυνων για διάφορα μέρη του σχεδίου. Μια ολοκληρωμένη ομάδα αποκατάστασης από καταστροφές θα πρέπει να αντιπροσωπεύει διάφορους τομείς της επιχείρησης που μπορούν να αξιολογήσουν τη ζημιά, να ξεκινήσουν σχέδια αποκατάστασης και να βοηθήσουν στη διατήρηση ενημερωμένων σχεδίων αποκατάστασης από καταστροφές Αυτοί είναι οι άνθρωποι που ξέρουν τι να κάνουν όταν εμφανιστεί πρόβλημα.
4. Βασίζοντας στις επικοινωνίες. Ένα σημαντικό μέρος της καθοδήγησης NIST για την ανάκτηση απαιτεί ότι «οι δραστηριότητες αποκατάστασης συντονίζονται με εσωτερικά και εξωτερικά μέρη, όπως κέντρα συντονισμού, παρόχους υπηρεσιών Διαδικτύου, ιδιοκτήτες συστημάτων επίθεσης, θύματα και προμηθευτές». Αυτό απαιτεί προσεκτικό, εκ των προτέρων προγραμματισμό για να διασφαλιστεί ότι οι επικοινωνίες παραμένουν ανοιχτές στους υπαλλήλους, τους πελάτες, τις αρχές επιβολής του νόμου, το προσωπικό έκτακτης ανάγκης, ακόμη και τα μέσα ενημέρωσης. Η ζέστη της στιγμής δεν είναι καιρός να αναζητάτε πληροφορίες επικοινωνίας.
5. Δοκιμή για αποτελεσματικότητα. Οι επίσημες ασκήσεις ανάκτησης περιστατικών και οι δοκιμές σε τακτά χρονικά διαστήματα είναι κρίσιμες για την επιτυχία του BCDR, όπως ανακάλυψαν τρομερά πολλοί από τους OVH. Ο χρόνος κρίσης δεν είναι ο χρόνος για να καταλάβουμε εάν τα αντίγραφα ασφαλείας μπορούν να τεθούν με επιτυχία στην παραγωγή σε εύλογο χρονικό διάστημα. Οι λογικές πρακτικές θα πρέπει να περιλαμβάνουν ρεαλιστικούς στόχους, με συγκεκριμένους ρόλους και ευθύνες, για τον έλεγχο του άγχους των ικανοτήτων ανάκαμψης του οργανισμού.
6. Διατηρώντας το φρέσκο. Τα σχέδια BCDR θα πρέπει να επανεξετάζονται ετησίως για να διασφαλίζεται ότι παραμένουν σχετικά και πρακτικά. Επιπλέον, κάθε δοκιμαστική εκτέλεση, κάθε άσκηση και κάθε περιστατικό απώλειας δεδομένων, όσο μικρό κι αν είναι, είναι μια εξαιρετική ευκαιρία να εξετάσουμε τα διδάγματα και να κάνουμε ρεαλιστικές βελτιώσεις.

Κανένα σχέδιο BCDR δεν μπορεί να αποκρούσει κάθε χάος και να εγγυηθεί τέλεια προστασία. Όμως, όπως δείχνει το περιστατικό της OVH, οι μισογυνιστικές πολιτικές και τα ελλιπή πρωτόκολλα είναι περίπου τόσο αποτελεσματικά όσο κανένα σχέδιο. Η καθιέρωση μιας σταθερής στάσης BCDR απαιτεί ουσιαστική επένδυση σε πόρους, χρόνο και κεφάλαιο. Η ανταμοιβή έρχεται όταν τα φώτα αναβοσβήνουν και τα συστήματα επανεκκίνησης επιστρέφουν στο διαδίκτυο, τα δεδομένα είναι άθικτα και τίποτα δεν είναι το χειρότερο για την εμπειρία.