Hybris
riecken.de war seit gestern Abend bis heute ca. 10:12 Uhr down. Nach erster Analyse der Katastrophe habe ich getwittert:
riecken.de ist down. Aber so richtig. Morgen im Laufe des Tages :o)…
An der Geschichte dazu kann man sehr schön sehen, wie man sich im Serverbetrieb nicht verhalten sollte. Ich schreibe mal das Elend auf:
- Die Schulhomepage musste mal irgendwann von Joomla 2.5.x auf Joomla 3.x geupdatet werden. Um das vorzubereiten, habe ich das mal eben auf meinen eigenen Server nachgebaut, d.h. besagte Homepage 1:1 kopiert.
- Das Update klappte nach dem Entfernen des von einer Agentur erstellten Themes und Umschaltung auf ein Standardtheme, ließ mich aber wissen, dass die PHP-Version von Debian squeeze zu alt dafür sei.
Es gab jetzt mehrere Möglichkeiten:
- eine neuere PHP-Version aus den Debianbackports einspielen
- es auf einem andere Server mit Debian wheezy nochmal versuchen
- gleich die Gunst der Stunde nutzen und den Server auf wheezy updaten
Da es schnell und möglichst „unattended“ (ohne Nutzereingriff von mir) gehen sollte, war natürlich Variante 3 naheliegend. Eigentlich macht man vor so einem Eingriff nochmal ein Backup – das geht bei meinem Hoster sogar besonders bequem – es handel sich um einen KVM-VServer, der mir einen Snapshot erlaubt (Apple hat dieses uralte Verfahren aus der Unixwelt kopiert, mit einer groovigen Oberfläche versehen und nennt es TimeMachine), d.h. ich kann den Zustand des Systems per Klick sichern und später im Fehlerfall wieder herstellen – nur verbunden mit einer kurzen Downtime.
Och, bei deinen letzten Debianupdates ist noch nie was schiefgegangen.
Diesmal schon. Mehrere essentielle Dienste liefen in nicht auflösbare Paketkonflikte und mochten nicht mehr starten. Außer dem dem familiären Mailsystem ging nichts mehr. Auch das sollte sich noch ändern.
Die grandiose Idee:
Ich sichere das System jeden Tag inkrementell bei mir zu Hause über einen rsync-Mechanismus (genau der dürfte auch hinter TimeMachine stecken), d.h. ich kann an jeden Tag der letzten drei Monate zurückgehen. Also flugs den alten Dateizustand wieder hinüberkopiert. Ergebnis: System unerreichbar und startet nicht mehr.
Hm. Eh egal. Der Server wurde neu mit Debian squeeze installiert und nachmal eine Rücksicherung probiert. Ergebnis: Bei VServern klappt das mit der Rücksicherung so offenbar nicht.
Na dann. Neues Debian wheezy Image drauf und auf die harte Tour nach und nach die wichtigsten Dienste konfigurieren (die Configdateien gab es ja in der Sicherung). Mit einem Upload von 6Mbit/s dauert die Datenübertragung nun natürlich etwas länger als die Datensicherung (100 Mbit/s Downstream). Verschärft wird das dadurch, dass wir imap nutzen und so ca. 2GB in kleinen Dateien brauchen durch den Protokolloverhead nochmal länger.
Aber nach ca. 1,5 Stunden aktiver Arbeit am PC mit mehreren im Hintergrund laufenden Screensessions für die Kopierprozesse laufen jetzt die wichtigsten Mail- und Webdienste wieder und ich kann jetzt komfortabel den Rest Stück für Stück nachziehen. Nebenbei habe ich Debian wheezy als Unterbau und damit PHP5.4.x – da könnte ich doch gleich mal eben die Schulhomepage …
Lehren
- Wenn etwas weg ist, merkst du erst seine Wichtigkeit
- Niemand will ein Backup, alle wollen ein Restore
- Arbeitsprozesse, die man im Job selbstverständlich macht, haben auch ihren Sinn im privaten Umfeld
- Die binären Datenbankdateien von MySQL5.1 und MySQL5.5 sind zueinander kompatibel