Webserver

Inkrementelles Backup eines Webhosting Auftritts per sshfs

Viele Webhoster bieten eine Möglichkeit, einfache Backups zu erstellen oder diese sogar nach „extern“ per FTP wegzusichern. Dummerweise handelt es sich bei dieser Sicherung jedes mal um ein Fullbackup. Will sagen, in der Regel hat man genau einen Wiederherstellungspunkt für das Backup auf dem Webserver liegen. Oder eben alternativ viele Fullbackups auf einem FTP Server – wobei man hier ja auch noch aufpassen muss, dass die Backups sich nicht bei jedem Lauf überschreiben. Meistens heißen die Dateien ja doch alle gleich.

Wie schon im vorherigen Artikel beschrieben gehe ich bei der Sicherung wie folgt vor: per sshfs wird das Filesystem des Webservers lokal gemountet. Auf dem Webserver des Hosters läuft ein CRON-Job, der jede Minute ein Script auf dem Server startet. Das Script schaut zunächst in einem Verzeichniss nach einem Startflag (Datei). Wenn die Datei gefunden wurde dumpt es die gefüllten MySQL Datenbanken ins Filesystem und schreibt die Aktionen in ein Logfile. Auf dem Backupserver wird per CRON-Job das Backuptool backup2l gestartet. In der Config des Backuptools wird vor dem Backup ein Script gestartet, dass per sshfs das Dateisystem des Webservers mountet und das Startflag für den CRON-Job auf dem Webserver erzeugt. Nach einem Timeout von 5 Minuten wird geprüft ob das Datenbankbackup gelaufen ist und eine entsprechende Meldung ausgegeben. Anschließend läuft backup2l los und sichert per afio und gzip/bzip den Inhalt des Filesystems.

Was wird benötigt?

Auf dem Webserver:

  • cron mit der Möglichkeit eigene Scripts laufen zu lassen
  • Zugang per ssh/sftp (oder ftp/webdav)
  • mysqldump [Read more…]

Domainumzug

… erfolgreich beendet 😉

Aus wesselonline.dyndns.org inkl. Subdomains wurde dann jetzt   http://patrick-wessel.de, inklusive Emaildomains… Damit hat natürlich der erst vor 2 Monaten in Betrieb genommene Linuxserver seine Daseinsberechtigung verloren… und wurde (mal wieder) durch eine NSLU von Linksys und 2x 16GB Usb Sticks ersetzt. Die NSLU übernimmt hier nur noch die internen Mailservertätigkeiten mit dem altbekannten Dreigestirn Postfix (SMTP), Bogofilter (Spamfilter) und natürlich Dovecot (IMAP/POP).

Zusätzlich läuft auf der NSLU noch ein pure-ftp FTP Server, lighttpd + php5 + eaccelerator als Webumgebung sowie die Sicherung per backup2l. Gesichert werden hier nich nur die Mails, sondern auch die neuen Domains. Das ganze wird hier später noch genauer inkl. der kleinen Scripte vorgestellt:

Per sshfs wird das Filesystem der Domänen lokal gemountet. Auf dem Webserver des Hosters läuft ein CRON-Job, der jede Minute ein Script auf dem Server startet. Das Script schaut zunächst in einem Verzeichniss nach einem Startflag (Datei). Wenn die Datei gefunden wurde dumpt es die gefüllten MySQL Datenbanken ins Filesystem und schreibt die Aktionen in ein Logfile.

Auf der NSLU wird per CRON-Job das Backuptool backup2l gestartet. In der Config des Backuptools wird vor dem Backup ein Script gestartet, dass per sshfs das Dateisystem des Webservers mountet und das Startflag für den CRON-Job auf dem Webserver erzeugt. Nach einem Timeout von 5 Minuten wird geprüft ob das Datenbankbackup gelaufen ist und eine entsprechende Meldung ausgegeben. Anschließend läuft backup2l los und sichert ber afio und gzip den Inhalt des Filesystems. Bzip ist einfach zu viel für die kleine 266 MHz Arm CPU der NSLU (zumal hier nur 32 MB RAM zur Verfügung stehen!). Hier wird alle 2 Wochen eine Vollsicherung angelegt und im restlichen Zeitraum inkrementell gesichert. Die Files landen auf dem zweiten USB Stick – von da gehts in regelmäßigen Abständen ab aufs NAS. Die Lösung ist sehr effektiv und spart vor allem Transfervolumen. So werden täglich eigentlich nur die Datenbank + einige wenige Änderungen an den Files  gesichert.

Die Scripte folgen…

Ist-Aufnahme

Hier eine Auflistung der vorhandenen Hardware und der benötigten Serverdienste.

Vorhandene Hardware:

  • Via Epia System
  • VIA C7 Prozessor, 1GHZ
  • 512 MB Ram
  • CLE 266 Chipsatz
  • DVD/ CD-RW Combi
  • 80 GB Notebookfestplatte, 8MB Cache
  • Externe USB 2.0 Festplatte, 80 GB, 2 MB Cache
  • Brother HL 2030 Laserdrucker, USB

[Read more…]

Offline Zeit

Der ein oder andere wird es mitbekommen haben. Aufgrund von massiven Problemen habe ich den Server geschlachtet. 🙂
Also nicht wirklich den Server, aber ich wollte… zumindest im ersten Moment. Ehrlich. Na, eigentlich kann der Server ja auch nichts dazu. Zumindest nicht die Hardware. Aber ich habe selten ein so schlechtes System wie das der Kollegen aus Redmond gehabt. Zu guter letzt wollte mich dann Acronis True Image noch ärgern. Super Backupprogramm! Und mittlerweile als Freeware auf einigen Heft-CDs diverser Zeitschriften zu finden. Auch wenn diese Versionen meist älter sind, sie erfüllen ihren Zweck. Image der Datenpartition unter Redmond-OS gezogen. Validiert. Alles prima. Dann wollte ich das Image wieder restoren um an die Daten zu kommen und: Pustekuchen ;-( Nix ging mehr. Fehler beim Lesen des Images. Auch das extrahieren aus einzelnen Dateien mit der neueren Sharewareversion war nicht möglich. Selber Fehler. Das konnte doch nicht sein! Immerhin waren da die ganzen Fotos von Lana etc. und Dokumente, Schriftverkehr zum Hausbau etc. mit gesichert. So langsam lief mir der kalte Schweiß den Rücken runter. Also das Image auf eine externe USB Platte gezogen und an einem unserer Notebooks entpackt.

Hier lief es zum Glück ohne Fehlermeldung. Die Daten sind jetzt wieder verfügbar. Wenn samba (Windows Freigaben, DC etc. unter Linux) und das Drucksystem cups richtig laufen werde ich die Freigaben wieder anlegen… dann kann auch meine Frau wieder auf ihre Homepage zugreifen – mit SSH / SFTP hat sie es ja nicht so. 🙂

[Read more…]

Blöder Apache

oder blödes Betriebssystem. Wahrscheinlich eher das zweite. Nach der letzten Konfigurationsanpassung des Apache Webservers konnte ich dessen Logfiles endlich wieder die IPs der Clients betrachten. Leider führte aber der Parameter zu häufigen Abstürzen und Instabilität des Webservers. 🙁

Also habe ich den Webalizer angepasst und den Apache wieder auf die alte Config zurück gesetzt. Jetzt werden leider keine IPs mehr aufgelöst und damit auch keine Länderdaten mehr gesammelt. Schade. War ja ganz interessant zu sehen. Ein Grund mehr für mich wieder auf Debian umzustellen. Da gab es solche Patzer einfacher nicht. Vielleicht kommt Loghorn aus Redmond ja langsam mal auf den richtigen Weg. 😉

Problem mit dem Webserver

Der ein oder andere wird es vielleicht bemerkt haben: Mit dem Webserver, der sich freundlicher weise stets bemüht die Seiten von wesselonline.de, patrick-wessel.de und den Subdomains auszuliefern stimmte etwas nicht. Der Gute war irgendwie vergesslich. Nicht, dass er nicht auf Request geantwortet hätte, aber in den Logfiles fehlten nach einem Apache 2.x Update plötzlich die IPs der Clients. Stattdessen lachten mich und auch den Webalizer, der die Statistiken erstellt nur Zeilen im folgenden Format an:

0.0.0.0 – – [12/Apr/2007:11:22:08 +0200] „GET / HTTP/1.0“ 200 6853
0.0.0.0 – – [12/Apr/2007:11:24:20 +0200] „GET / HTTP/1.0“ 200 6853
0.0.0.0 – – [12/Apr/2007:11:24:21 +0200] „GET / HTTP/1.0“ 200 6853
0.0.0.0 – – [12/Apr/2007:11:24:26 +0200] „GET / HTTP/1.0“ 200 6853
0.0.0.0 – – [12/Apr/2007:11:24:29 +0200] „GET /wp-content/themes/fluid-index-10/style.css HTTP/1.0“ 304 –

Ein wenig gegoogelt und die Lösung wurde dann auch schnell beschrieben. Aufgrund eines Fehlers, der anscheinend nur mit den 2000er Betriebssystemen aus Redmond auftritt und der „neueren“ Apache 2.x Version kommt es beim loggen wohl zu Problemen was die IP Adresse respektive das Auflösen in einen DNS Namen angeht. Natürlich weiß der Apache trotzdem von wem die Anfrage gekommen ist – er könnte ja sonst den Request auch nicht bearbeiten.

Einfach den folgenden Parameter in die httpd.conf schreiben bzw. in eine Configdatei und diese dann per „include“ in die httpd.conf mit aufnehmen:

[Read more…]

Und futch ist der Rank

So schnell kanns gehen – jetzt ist die Homepage meiner kleinen Tochter noch nicht mal mehr unter den ersten 15 Treffern. Was google da jetzt auszusetzen hat? – keine Ahnung. An der Seite hat sich ja nichts geändert. Die steht da wie eh und je und auch der Inhalt erweitert sich ja immer mal wieder. Also es ist ja nicht so, dass die Seite einstaubt. 🙁
Die Auswirkungen haben sich übrigens direkt in den Serverzugriffen wiedergespiegelt. Allein im Janaur kam nur der Webserver auf beachtliche 21069895 KBytes ~ 21.07 GB. Kaum zu glauben, wenn man sich vorstellt, dass es sich hierbei lediglich um ein kleines Wohnzimmerprojekt handelt. Zugegeben mit einer recht performanten DSL Leitung 😉 An dieser Stelle noch kurz ein Lob an die Firma AVM und deren Fritzbox. Mit meinem alten D-Link 624+ hätte man sowas nicht realisieren können. Der stürzte unabhängig von der Firmware regelmäßig unter Dauerlast ab. Die Fritzbox hingegen hat mich bis jetzt noch kein einziges mal im Stich gelassen! Da bin ich gern bereit ein wenig tiefer in die Tasche zu fassen wenn sich das qualitativ so auswirkt.

Geiz ist halt nicht immer geil… – wenn er es denn überhaupt jemals war.

So, nun aber gute Nacht und Licht aus!

wsp

Spaß mit den Telekomikern – Fritz!Box Reloaded

Ist es eigentlich zu viel verlangt, dass eine Firma genau das macht, womit man sie beauftragt hat? Das in der heutigen Zeit nicht nur am Service gespart wird, dass weiß eigentlich jeder seit dem die Geiz ist Geil Welle über Fernseh-Deutschland hereinprasselte wie eine der biblischen Plagen.

Aktuell sind wir per ADSL mit 6 Mbit/s angebunden. Da es bei GMX ein nettes Angebot mit 16 Mbit/s (ADSL2+) inkl. Flatrate für den Preis gibt, den die T-Com allein an Grundgebühr für den 6 Mbit Anschluss kassiert dachten wir uns, da wechseln wir doch mal flott. Kurzes Fax an Congster mit der Kündigung und nur 10 Minuten später gab es die Kündigungsbestätigung per Email – dass nenn ich Service! Das Fax ging ca. gegen 22 Uhr raus. Nicht schlecht, da könnte sich das ein oder andere Unternehmen mal ne Scheibe von abschneiden.

[Read more…]

Technische Plattform

Wesselonline ist ein privates Internetprojekt, das etwa im Jahre 2005 gestartet wurde. Als technische Plattform dient ein Embedded VIA System mit C7 Nehemiaprozessor. Das System steckt in einem passiv gekühlten Gehäuse und ist bis auf die Festplatte praktisch lautlos. Die CPU wird dynamisch – je nach Systemlast – von 600 MHz auf bis zu 1200 MHz getaktet. Eigentlich ist die CPU auf einen festen Takt von 1000 MHz (7.5 * 133) eingestellt. Über den VIA Powersaver bzw. unter Linux den cpufreq-daemon kann man allerdings den Takt beliebig erhöhen. Bis 1300 MHz läuft die Maschine stabil, ohne Mehraufwand bei der Kühlung. Gekühlt wird die CPU und der Chipsatz per Heatpipe und die außenliegendem Gehäuselamellen. Der CPU steht ein CLE266er Chipsatz von VIA mit integrierter Grafikkarte, USB2.0, IDE… und 512 MB DDR RAM (@266 MHz) zur Seite. Eine interne 80 GB Samsung Notebookfestplatte mit 8MB Cache sowie ein Slimline DVD/CD-RW Combolaufwerk gehören ebenfalls zum System. Als Backupplatte dient eine per USB 2.0 angeschlossene externe Notebookfestplatte mit ebenfalls 80GB. Pro Woche gibt es ein Vollbackup, täglich dann eine inkrementelle Sicherung.

Angeschlossen ist der Server per PowerLine Adapter (85 MBit, Devolo) an einen Router der den Server mit einer 16 MBit ADSL Leitung ins Internet bringt. Neben Datei- und Druckerdiensten inkl. Fax agiert die Maschine noch als Mailserver mit SPAM und Virenfilter. Weiterhin liefert er per Webserver, PHP und MySQL Webseiten aus – unter anderem dieses Blog.

Ursprünglich lief das ganze sehr zufriedenstellend unter Linux, Debian ETCH und wesentlich performanter als jetzt unter dem Redmondschen Codesammelsurium. Allerdings gab es Probleme mit der IDE Schnittstelle und dem dynamischen CPU rauf und heruntertakten. Bis ich gemerkt habe, das hierbei wild Bits und Bytes vertauscht werden und bei der Übertragung im Nirvana verschwinden war es allerdings zu spät. Daher stand leider ein Betriebsystemwechsel und eine Migration von Postfix / Dovecot zum Hmailserver an.

Eingesetzte Software aktuell:

  • Apache 2
  • Php 5
  • MySQL
  • Hmailserver
  • ClamAV
  • WordPress
  • PHPmyadmin
  • Webalizer
  • DynDNS Client
  • VIA Power Saver
  • Motherboard Monitor
  • Devolo Informer (Power Line Adapter)