Projekt Linux Server

Anleitung zum Aufbau eines Debian Linux Servers am Beispiel von wesselonline

Inkrementelles Backup eines Webhosting Auftritts per sshfs

Viele Webhoster bieten eine Möglichkeit, einfache Backups zu erstellen oder diese sogar nach „extern“ per FTP wegzusichern. Dummerweise handelt es sich bei dieser Sicherung jedes mal um ein Fullbackup. Will sagen, in der Regel hat man genau einen Wiederherstellungspunkt für das Backup auf dem Webserver liegen. Oder eben alternativ viele Fullbackups auf einem FTP Server – wobei man hier ja auch noch aufpassen muss, dass die Backups sich nicht bei jedem Lauf überschreiben. Meistens heißen die Dateien ja doch alle gleich.

Wie schon im vorherigen Artikel beschrieben gehe ich bei der Sicherung wie folgt vor: per sshfs wird das Filesystem des Webservers lokal gemountet. Auf dem Webserver des Hosters läuft ein CRON-Job, der jede Minute ein Script auf dem Server startet. Das Script schaut zunächst in einem Verzeichniss nach einem Startflag (Datei). Wenn die Datei gefunden wurde dumpt es die gefüllten MySQL Datenbanken ins Filesystem und schreibt die Aktionen in ein Logfile. Auf dem Backupserver wird per CRON-Job das Backuptool backup2l gestartet. In der Config des Backuptools wird vor dem Backup ein Script gestartet, dass per sshfs das Dateisystem des Webservers mountet und das Startflag für den CRON-Job auf dem Webserver erzeugt. Nach einem Timeout von 5 Minuten wird geprüft ob das Datenbankbackup gelaufen ist und eine entsprechende Meldung ausgegeben. Anschließend läuft backup2l los und sichert per afio und gzip/bzip den Inhalt des Filesystems.

Was wird benötigt?

Auf dem Webserver:

  • cron mit der Möglichkeit eigene Scripts laufen zu lassen
  • Zugang per ssh/sftp (oder ftp/webdav)
  • mysqldump [Read more…]

Domainumzug

… erfolgreich beendet 😉

Aus wesselonline.dyndns.org inkl. Subdomains wurde dann jetzt   http://patrick-wessel.de, inklusive Emaildomains… Damit hat natürlich der erst vor 2 Monaten in Betrieb genommene Linuxserver seine Daseinsberechtigung verloren… und wurde (mal wieder) durch eine NSLU von Linksys und 2x 16GB Usb Sticks ersetzt. Die NSLU übernimmt hier nur noch die internen Mailservertätigkeiten mit dem altbekannten Dreigestirn Postfix (SMTP), Bogofilter (Spamfilter) und natürlich Dovecot (IMAP/POP).

Zusätzlich läuft auf der NSLU noch ein pure-ftp FTP Server, lighttpd + php5 + eaccelerator als Webumgebung sowie die Sicherung per backup2l. Gesichert werden hier nich nur die Mails, sondern auch die neuen Domains. Das ganze wird hier später noch genauer inkl. der kleinen Scripte vorgestellt:

Per sshfs wird das Filesystem der Domänen lokal gemountet. Auf dem Webserver des Hosters läuft ein CRON-Job, der jede Minute ein Script auf dem Server startet. Das Script schaut zunächst in einem Verzeichniss nach einem Startflag (Datei). Wenn die Datei gefunden wurde dumpt es die gefüllten MySQL Datenbanken ins Filesystem und schreibt die Aktionen in ein Logfile.

Auf der NSLU wird per CRON-Job das Backuptool backup2l gestartet. In der Config des Backuptools wird vor dem Backup ein Script gestartet, dass per sshfs das Dateisystem des Webservers mountet und das Startflag für den CRON-Job auf dem Webserver erzeugt. Nach einem Timeout von 5 Minuten wird geprüft ob das Datenbankbackup gelaufen ist und eine entsprechende Meldung ausgegeben. Anschließend läuft backup2l los und sichert ber afio und gzip den Inhalt des Filesystems. Bzip ist einfach zu viel für die kleine 266 MHz Arm CPU der NSLU (zumal hier nur 32 MB RAM zur Verfügung stehen!). Hier wird alle 2 Wochen eine Vollsicherung angelegt und im restlichen Zeitraum inkrementell gesichert. Die Files landen auf dem zweiten USB Stick – von da gehts in regelmäßigen Abständen ab aufs NAS. Die Lösung ist sehr effektiv und spart vor allem Transfervolumen. So werden täglich eigentlich nur die Datenbank + einige wenige Änderungen an den Files  gesichert.

Die Scripte folgen…

Neuer Linux Server

Nachdem das Shuttle K45 jetzt gut 7 Monate im Dauerbetrieb immer ordentlich seinen Dienst verrichtet hat gab es letzte Woche Probleme mit dem Backup. Die externe USB Platte, die ich für das Backup benutze hatte sich wohl einfach verabschieded. So zumindest stellte sich das ganze dar, als ich von dem Server per Mail über das fehlgeschlagene tägliche Backup informiert worden bin.

Da ich die Mail im Zug bekommen habe (aufs Handy), habe ich nur kurz per SSH nach dem rechten gesehen. Die Platte hatte sich laut dmesg abgemeldet und war auch nicht mehr mountbar. Der Server lief jedoch und es gab keinen Hinweis auf ein Problem. Auch sensors zeigte keine Spannungsprobleme. Die von munin erstellten Graphen zeigten ebenfalls keine Schwankungen. Nach einem Serverreboot, der dafür sorgen sollte, dass sich die Platte/Controller neu initialisiert kam der Server nicht mehr hoch. Er startete einfach nicht mehr. Das Mainbord hatte zwar Saft, aber das System wollte einfach nicht starten. Die Lüfter drehten nur kurz an, das wars. Kein Gepiepse, nix zu sehen. Da ich keinerlei Geräte zum Durchmessen habe und auch kein Ersatznetzteil/Board musste schnell Abhilfe her.

Die sah dann so aus:

Neues Netzteil bei Reichelt bestellt. Leider gab es die nur in der 180 Watt Ausführung und mit gerade mal 60% Wirkungsgrad. Zum Mäuse melcken, sowas… das 100 Watt Netzteil des K45 war immerhin ein 80+ Gerät. Na, jedenfalls lief die Kiste dann auch wieder ordentlich.

Soviel zu dem Thema reboot tut gut. In dem Fall wohl eher nicht.

VMware Server 1.06 unter Ubuntu Server „Hardy“ installieren

Nach dem Wechsel von Debian zu Ubuntu als Serverdistribution hatte ich jetzt ein Problem mit dem VMware Server. Zunächst wollten die Module nicht kompliliert werden, dann war es nicht möglich die VMware-Server-Console unter Ubuntu (auf einem Client) zu starten…

Hier nun die Schritte, die bei mir zum Erfolg geführt haben:

sudo bash

apt-get install build-essential linux-headers-`uname -r` xinetd

wget VMware-server-1.0.6-91891.tar.gz
wget VMware-server-linux-client-1.0.6-91891.zip

tar -xvf VMware-server-1.0.6-91891.tar.gz

cd vmware-server-distrib

./vmware-install.pl

Die Module sollten sich durch die installieren headerfiles problemlos übersetzen lassen. Die entpackten Kernelsourcen reichen hierfür nicht aus, da die zum laufenden Kernel passende Konfiguration nicht vorliegt. Ohne die Headerfiles passiert sowas: [Read more…]

Zertifikate mit OpenSSL erstellen (Debian OpenSSL Bug)

Aus gegebenem Anlass habe ich mal zur Sicherheit das Zertifikat von Wesselonline neu erstellt. Da die Debian basierten Distributionen ja unter Umständen über einen Fehler in dem OpenSSL Paket angreifbar sind gab’s natürlich sehr zeitnah ein Update der betroffenen Programmpakete. Das Update allein nützt aber nichts, da ja die erstellten Zertifikate in der Regel noch in Benutzung sind und somit relativ leicht ausgehebelt werden können.

Recht vereinfacht lässt sich das so erklären: Bei der Erzeugung der Schlüssel werden mehrere zufällige Zahlen dazu benutzt, einen besonders einzigartigen Schlüssel zu erstellen, der durch die Nutzung von Unbekannten entsprechend sicher ist. Kennt man jedoch das Erstellungsverfahren und die Unbekannten, dann kann man einen erstellten Schlüsselcode berechnen. Die betroffenen OpenSSL Versionen haben leider einen solches Verhalten an den Tag gelegt. Als zufällige Zahlen haben die Pakete nur noch die Prozess-IDs mit einbezogen. Diese sind 15 bit groß und erlauben somit max. 32768 Prozesse oder verschiedene IDs auf einem unixartigen System (also auch Linux). Eine Zahl von 0 bis 32767 wurde also zur Schlüsselerstellung benutzt. Ergo braucht man max. 32768 (2^15) Versuche einen Schlüssel zu brechen. Und das ist durchaus machbar…

Also schnellstmöglich das Update einspielen:

apt-get update && apt-get upgrade -q -y

und anschließend neue Zertifikate erstellen. Die neuen Zertifikate kann man sehr schön zentral unter /etc/ssl/private/ ablegen. Das zentrale Ablegen der Schlüssel hat den Vorteil, dass mehrere verschiedene Dienste auf die Schlüssel zugreifen können ohne das man ihn in diverse Verzeichnisse linken oder gar kopieren müsste. Eine Änderung des Schlüssels würde also direkt nach dem Neustart der entsprechenden Dienste wie Postfix, Dovecot, Apache… etc. greifen.

[Read more…]

Automatisch Procmailregeln per Script erstellen

Procmail ist ein sehr sehr mächtiges Tool. Ich habe mir mal ein kleines Bash Script geschrieben, mit dem man automatisch per Crontable gesteuert die Filterregeln erstellen kann. Man muss lediglich die Emails in die entsprechenden Ordner verschieben und nachts das Script laufen lassen. Das Script geht durch die entsprechenden Ordner der Mailbox, liest die Absender der vorhandenen Emails aus und schreibt diese in eine Liste. In dieser Liste steht dann der Ordnername und die Absenderadresse im Format:

Ordnername;absender@domain.org

Anschließend wird diese Liste gelesen und auf doppelte Einträge gefiltert. Nachdem die doppelten Einträge und Leerzeichen etc. aus der Datei entfernt sind erstellt das Script für jeden Eintrag einen Procmailkonformen Regelsatz. Wenn die Regeln erstellt wird schaut das Script ob im Verzeichnis des angegebenen Benutzers die Datei .procmailrc existiert. Wenn die Datei existiert wird zunächst ein Backup der Datei angelegt und anschließend geprüft, ob bereits Regeln über das Script eingefügt worden sind. Ist das der Fall werden diese Regeln zunächst aus der Datei entfernt. Anschließend werden die frischen Regelsätze an die Datei angehangen.

[Read more…]

bogofilter, Postfix und der Kampf gegen Spam

Hatte ich bislang amavis im Einsatz, so läuft auf der neuen Hardware zwar auch wieder ein Postfix Mailserver auf Debian Basis, jedoch nicht mehr mit spamassassin und CO. Das war mir einfach zu ressourcenlastig. Aber ich habe mittlerweile eine nette Alternative im Einsatz: bogofilter.

Auf bogofilter bin ich gekommen, da man amavis auf der NSLU2 zwar betreiben konnte, aber die durchschnittliche Bearbeitungszeit einer Email lag mit allen Checks bei > 3 Minuten. Das war zwar OK, allerdings muss man hierbei bedenken, dass die NSLU2 in dieser Zeit gar nichts anderes gemacht hat. Selbst einfach SSH Sessions hingen zu diesem Zeitpunkt. An einen Zugriff per NFS, SMB oder gar FTP war nicht mal ansatzweise zu denken. Ob nun eine Mail in 1 Sek verarbeitet ist oder 3 Minuten braucht, das ist bei einem Homeserver eigentlich egal – bei den 4 Mailadressen, die der im Schnitt betreut macht das bisschen Verspätung nichts aus 😉

[Read more…]

Actionscript für clamsmtpd

Als Virenscanner habe ich aktuell clamav über das clamsmtp-Paket angebunden… Das Einrichten geht recht schnell von der Hand und ist in der Anleitung zu dem Paket bestens beschrieben. Hier die Kurzform der Anbindung:

Die Datei /etc/clamsmtpd.conf sieht :
OutAddress: 10025
Listen: 127.0.0.1:10026
ClamAddress: /var/run/clamav/clamd.ctl
Header: X-AV-Checked: ClamAV using ClamSMTP on server.matrix
TempDirectory: /var/spool/clamsmtp
PidFile: /var/run/clamsmtp/clamsmtpd.pid
Quarantine: on
User: clamsmtp
VirusAction: /usr/local/bin/clamsmtpvirus.sh

[Read more…]

Postfix mit policyd-weight erweitern (Howto)

Nachdem wir Postfix im Finetuning Howto schon einige sehr wirkungsvolle Konfigurationsabschnitte unterbreitet haben kommt nun ergänzend noch ein Tool als Erweiterung dazu. Der policy-weight Daemon wird noch vor amavis aktiv und prüft die Mail bei Eintreffen bereits an der Haustüre auf ihren Spamgehalt. Dazu bedient es sich eines kleinen Netzwerkes, gegen dass die entsprechenden Anfragen gestartet werden. Ist ein Rechner innerhalb dieses Blacklist-Netzwerks bekannt, wird die Email nicht angenommen. Der Daemon kann die Ergebnisse zwischenspeichern, so dass nicht für jede Email ein erneuter Verbindungsaufbau nötig ist.

Wir erzeugen zunächst die Defaultconfig. Diese wird vom Programm selbst erstellt:

policyd-weight defaults > /etc/policyd-weight.conf

Der Parameter $MAXDNSBLHITS gibt an, wie oft eine IP Adresse in einer Blacklist auftauchen muss, bevor die Email verworfen wird. Hier sollte man mindestens 2 Eintragen, besser 3. Das hat den Hintergrund, dass auch öffentliche Server, die kein Spam versenden unter Umständen in diesen Listen auftauchen können. Bis zur Entfernung kann einige Zeit vergehen, so dass ein System in der einen Blacklist noch als Spammer gelistet ist, während alle anderen Blacklistanbieter ihre Daten schon aktualisiert haben.

[Read more…]

Feintuning Postfix (Howto)

Nachdem wir Postfix anhand des vorherigen Howtos aufgesetzt haben und dieser auch schon fehlerfrei läuft geht es nun an das Feintuning.

Zunächst werden wir Postfix soweit vorbereiten, dass sich Postfix für ausgehende Emails an einen externen, vertrauenswürdigen Mailserver wendet, also einen Relay Server für den Versand externer Post verwendet (Smarthost). In der Regel muss man sich hier beim fremden Mailserver authentifizieren, bevor man seine Mails zur weiteren Verarbeitung bei dem Server hinterlegen darf. Wir bedienen uns hierzu des SMTP Auth. Postfix arbeitet in diesem Fall nicht als Server, sondern als Client.

Hierzu legen wir zunächst im Postfix Konfigurationsorder einen Unterordner sasl an (Dieser Schritt ist obsolet wenn der erste Teil des Howtos komplett umgesetzt wurde (siehe smtpd.conf):

mkdir -p /etc/postfix/sasl

Jetzt legen wir eine Datei namens sasl_passwd an. Der Inhalt der Datei sieht wie folgt aus:

mail.provider.org benutzername:passwort

[Read more…]