
Κάθε μακροχρόνιο έργο καταλήγει στην ίδια λιτή απαίτηση: κάποιος πρέπει να αντιγράφει τη βάση δεδομένων, να τη φυλάσσει κάπου αλλού από το μηχάνημα που τη φιλοξενεί και να το κάνει χωρίς να χρειάζεται να το θυμάται κανείς. Επειδή το αίτημα επαναλαμβάνεται σε κάθε συνεργασία, φτιάξαμε ένα εργαλείο αντί για ένα script ανά έργο: μια εργασία σε container, σήμερα στην έκδοση 2.0.0, της οποίας το ενεργό μέρος είναι ένα και μόνο script Bash.
Η πρόκληση
Τα αντίγραφα ασφαλείας τραβούν την προσοχή μόνο τη μέρα που έχουν αποτύχει, άρα η σιωπή είναι αυτό που πρέπει να σχεδιαστεί ώστε να μην συμβαίνει. Η πρώτη έκδοση δείχνει τι πάει στραβά χωρίς αυτή την πειθαρχία: μία βάση MySQL σε τοπικό δίσκο και τίποτα άλλο, χωρίς μεταφόρτωση, χωρίς πολιτική διατήρησης, χωρίς δεύτερη μηχανή βάσης. Χειρότερα, όλη η δουλειά βρισκόταν μέσα σε έναν έλεγχο ότι ο φάκελος εξόδου δεν υπάρχει, αμέσως μετά την εντολή που τον δημιουργούσε, άρα δεν εκτελούνταν ποτέ. Η εργασία τερμάτιζε κανονικά χωρίς να έχει φτιάξει τίποτα και δεν υπήρχε αποτυχία να φανεί.
Η λύση μας
Η σημερινή εργασία αντιστρέφει αυτή την παραδοχή. Η δημιουργία του αντιγράφου και η μεταφόρτωση ελέγχουν η καθεμία την κατάσταση εξόδου και τερματίζουν με σφάλμα αν αποτύχουν, αντί να συνεχίζουν, και μια βάση που αποτυγχάνει διακόπτει ολόκληρη την εκτέλεση. Έτσι ο κωδικός εξόδου που βλέπει ο χρονοδιακόπτης είναι ειλικρινής. Κάθε βήμα καταγράφει τι κάνει, οπότε το αρχείο καταγραφής δείχνει μέχρι πού έφτασε η εκτέλεση. Το container τρέχει μία φορά (restart: "no"), χωρίς βρόχο ή χρονόμετρο μέσα του: τη συχνότητα την ορίζει όποιος το προγραμματίζει.
Έχει σημασία και η σειρά: για κάθε βάση γίνεται αντίγραφο, μεταφόρτωση, διαγραφή των τοπικών αρχείων και μόνο μετά καθαρισμός του bucket. Μια εκτέλεση που αποτυγχάνει στο αντίγραφο ή στη μεταφόρτωση τερματίζει πριν προλάβει να διαγράψει ένα καλό αντίγραφο.
Αντίγραφο χωρίς να σταματήσει η υπηρεσία
Κάθε παράμετρος του mysqldump απαντά σε μια πραγματική συνθήκη λειτουργίας. Τα --single-transaction και --lock-tables=false δίνουν συνεπές στιγμιότυπο χωρίς κλείδωμα πινάκων, οπότε η ζωντανή βάση συνεχίζει να εξυπηρετεί κίνηση κατά τη διάρκεια της αντιγραφής. Το --quick διαβάζει τις γραμμές σε ροή αντί να φορτώνει όλο το αποτέλεσμα στη μνήμη. Τα --triggers, --routines και --events καταγράφουν τη συμπεριφορά και όχι μόνο τα δεδομένα των πινάκων, το --default-character-set=utf8mb4 προστατεύει τα κείμενα από αλλοίωση και το --set-gtid-purged=OFF κρατά την κατάσταση αναπαραγωγής εκτός ενός αρχείου που πρέπει να είναι φορητό.
Παρά το όνομα του έργου, η ίδια εργασία χειρίζεται και PostgreSQL: η μεταβλητή DB_TYPE κατευθύνει την εκτέλεση στο pg_dump, με αρχείο ~/.pgpass δικαιωμάτων 600, ώστε ο κωδικός να μην εμφανίζεται ποτέ σε γραμμή εντολών. Μία εικόνα, βασισμένη στο ubuntu:24.04, περιέχει και τους δύο πελάτες. Η DB_NAMES διαβάζεται ως λίστα χωρισμένη με κόμμα, γιατί ένας server σπάνια έχει μία μόνο βάση.
Προβλέψιμο από τον σχεδιασμό
Τίποτα για τον στόχο δεν είναι ενσωματωμένο στην εικόνα, που περιέχει μόνο το script και τα εργαλεία. Οι ρυθμίσεις λογαριασμού έρχονται ως μεταβλητές περιβάλλοντος του container και οι ρυθμίσεις ανά server σε ένα μικρό αρχείο που τοποθετείται στη θέση του .env. Το σημείο αποθήκευσης είναι μία από αυτές, άρα δουλεύει οποιοσδήποτε πάροχος συμβατός με S3.
Κάθε αντίγραφο συμπιέζεται με gzip -9 και ανεβαίνει σε προβλέψιμη διαδρομή (bucket, πρόθεμα, server, βάση, ημερομηνία, αρχείο με όνομα βάσης και χρονοσφραγίδα), ώστε το bucket να περιηγείται με το χέρι χωρίς ευρετήριο. Στην ίδια διαδρομή στηρίζεται και η διατήρηση: η εργασία παραθέτει τις ημερομηνίες κάτω από κάθε βάση, τις ταξινομεί αντίστροφα και διαγράφει ό,τι ξεπερνά τα BACKUP_RETENTION_DAYS. Ο καθαρισμός γίνεται μέσα στο bucket σε κάθε εκτέλεση, χωρίς πολιτική lifecycle που μπορεί να αποκλίνει, και τα τοπικά αρχεία διαγράφονται μόλις ολοκληρωθεί η μεταφόρτωση, οπότε το container δεν κρατά καμία κατάσταση.
Ακόμη και η δημιουργία της εικόνας επαληθεύεται: πριν αποσυμπιεστεί το AWS CLI, το Dockerfile εισάγει ένα καρφιτσωμένο δημόσιο κλειδί και ελέγχει με GPG την υπογραφή του εγκαταστάτη, ώστε μια ασυμφωνία να αποτυγχάνει στη δημιουργία αντί να καταλήξει ανεπιβεβαίωτο εκτελέσιμο σε εικόνα που χειρίζεται δεδομένα παραγωγής.
Συμπέρασμα
Το ουσιώδες σε μια εργασία αντιγράφων δεν είναι η εντολή αντιγραφής, αλλά όλα όσα τη συνοδεύουν ώστε να μη χρειάζεται επίβλεψη: σωστή σειρά βημάτων, καμία κατάσταση ανάμεσα στις εκτελέσεις, έλεγχος των εργαλείων κατά τη δημιουργία και ένας κωδικός εξόδου που λέει την αλήθεια. Έτσι το εργαλείο μπορεί να στραφεί στον επόμενο server χωρίς να ξαναγραφτεί.
Υπηρεσία: Εφαρμογές


