Backup

RMAN Sicherungen und die Bestimmung der Restlaufzeit

Leider werden bei Datenbanksicherungen mit brbackup, die mit dem Oracle Recovery Manager (rman) angefertigt werden, keine Restlaufzeiten (estimated end time) bzw. Fortschritte in % (Progress) ausgegeben. Zwar steht im Protokoll, dass brbackup für die Sicherung erstellt die Anzahl der zu sichernenden Dateien und das Sicherungsvolumen, jedoch wäre eine Ausgabe analog der Sicherung ohne rman per util_file hilfreich.

Mit dem folgenden SQL Script kann man sich die (geschätzte) Restlaufzeit so wie den aktuellen Fortschritt anzeigen lassen:

set pages 200 lines 200
col dbsize_mbytes      for 99,999,990.00 justify right head "DB Groesse MB"
col input_mbytes       for 99,999,990.00 justify right head "Gelesen MB"
col output_mbytes      for 99,999,990.00 justify right head "Geschrieben MB"
col output_device_type for a10           justify left head "Typ"
col complete           for 990.00        justify right head "Fertig %"
col est_complete       for a20           head "Geschaetztes Ende"
col recid              for 9999999       head "ID"

select recid, output_device_type, dbsize_mbytes, input_bytes/1024/1024 input_mbytes, output_bytes/1024/1024 output_mbytes, (mbytes_processed/dbsize_mbytes*100) complete, to_char(start_time + (sysdate-start_time)/(mbytes_processed/dbsize_mbytes), 'DD-MON-YYYY HH24:MI:SS') est_complete 
from v$rman_status rs, (select sum(bytes)/1024/1024 dbsize_mbytes from v$datafile)
where status='RUNNING' and output_device_type is not null;

Der Output sieht dann zum Beispiel so aus:

      ID Typ         DB Groesse MB     Gelesen MB Geschrieben MB Fertig % Geschaetztes Ende
-------- ---------- -------------- -------------- -------------- -------- --------------------
   13237 SBT_TAPE    13,253,366.00   3,376,273.98   3,374,149.75  25.47    22-MAY-2013 18:27:09

Schnell, schneller, rman (Backup und Restore)

Für ein schnelles Backup der Oracle Datenbank kann hat man wenn man Glück hat eine schnelle Backup Infrastruktur. Aber auch die schnellste Infrastruktur ist einfach immer zu langsam wenn es – warum auch immer – einfach mal schneller gehen muss 🙂 Wenn dann auch noch Oracle Flashback nicht genutzt werden kann weil es den Anforderungen nicht genügt oder schlichtweg nicht konfiguriert ist kann man i.d.R. schnell und einfach auf rman als Backuplösung zurück greifen.

Ich werde hier kurz erläutern wie man rman (Recovery Manager) für ein Backup in ein Filesystem, also ein rman backup to disk  (rman backup2disk) konfiguriert und im Notfall einen Restore aus dem Backup anfertigt.

Für die Nutzung von RMAN müssen zunächst die Parameter überprüft werden. Hierzu ist ein rman connect notwendig.

Zunächst verbindet man sich per rman gegen die Datenbank: [Read more…]

brbackup freundlich bitten die Arbeit niederzulegen

Eine aktuell laufende Sicherung kann man auf mehrere Arten beenden. Rabiat und unschön mit einem schnell wirkenden kill -9 inkl. nachfolgenden Aufräumarbeiten in der Datenbank (End-Backup-Modus setzen) oder eben über die -gun -abort Kombination.

Hierzu einfach auf einer shell brbackup mit folgender Option aufrufen:

brbackup -abort <option>

-abort leitet den Abbruch ein

[Read more…]

Oracle patchen ohne oraInventory? Geht nicht? Geht doch!

Man benötigt es nicht wirklich oft – aber wenn es defekt ist oder gar komplett fehlt wird das oraInventory auf einen Schlag plötzlich sehr wichtig. Ohne oraInventory kann man das Oracle weder Patchen noch Updaten. Eigentlich sollte es kein Problem sein das Verzeichnis einfach aus einem Backup wieder herzustellen. Eigentlich. Denn manchmal kommt es eben anders als man denkt. Man wollte z.B. nur schnell einen Oracle SBP einspielen und dann meldet der OPatch folgende Fehlermeldung:

OPatch failed to locate Central Inventory.
Possible causes are: 
    The Central Inventory is corrupted
    The oraInst.loc file specified is not valid.
LsInventorySession failed: OPatch failed to locate Central Inventory.
Possible causes are: 
    The Central Inventory is corrupted
    The oraInst.loc file specified is not valid.

Es gibt nun zwei Möglichkeiten:

  • Eine Neuinstallation der kompletten Oracle Software
  • Das orainventory einfach wieder herstellen

(Bitte nicht auf die Idee kommen das Verzeichnis einfach von einer anderen Oracle Installation zu kopieren – das ist keine gute Idee!)
Da mir die erste Lösung zu viel Aufwand mit sich bringt bin ich eher ein Freund des zweiten Lösungsansatzes. Die Umsetzung funktioniert im Übrigen auch viel schneller. [Read more…]

Inkrementelles Backup eines Webhosting Auftritts per sshfs

Viele Webhoster bieten eine Möglichkeit, einfache Backups zu erstellen oder diese sogar nach „extern“ per FTP wegzusichern. Dummerweise handelt es sich bei dieser Sicherung jedes mal um ein Fullbackup. Will sagen, in der Regel hat man genau einen Wiederherstellungspunkt für das Backup auf dem Webserver liegen. Oder eben alternativ viele Fullbackups auf einem FTP Server – wobei man hier ja auch noch aufpassen muss, dass die Backups sich nicht bei jedem Lauf überschreiben. Meistens heißen die Dateien ja doch alle gleich.

Wie schon im vorherigen Artikel beschrieben gehe ich bei der Sicherung wie folgt vor: per sshfs wird das Filesystem des Webservers lokal gemountet. Auf dem Webserver des Hosters läuft ein CRON-Job, der jede Minute ein Script auf dem Server startet. Das Script schaut zunächst in einem Verzeichniss nach einem Startflag (Datei). Wenn die Datei gefunden wurde dumpt es die gefüllten MySQL Datenbanken ins Filesystem und schreibt die Aktionen in ein Logfile. Auf dem Backupserver wird per CRON-Job das Backuptool backup2l gestartet. In der Config des Backuptools wird vor dem Backup ein Script gestartet, dass per sshfs das Dateisystem des Webservers mountet und das Startflag für den CRON-Job auf dem Webserver erzeugt. Nach einem Timeout von 5 Minuten wird geprüft ob das Datenbankbackup gelaufen ist und eine entsprechende Meldung ausgegeben. Anschließend läuft backup2l los und sichert per afio und gzip/bzip den Inhalt des Filesystems.

Was wird benötigt?

Auf dem Webserver:

  • cron mit der Möglichkeit eigene Scripts laufen zu lassen
  • Zugang per ssh/sftp (oder ftp/webdav)
  • mysqldump [Read more…]

Domainumzug

… erfolgreich beendet 😉

Aus wesselonline.dyndns.org inkl. Subdomains wurde dann jetzt   http://patrick-wessel.de, inklusive Emaildomains… Damit hat natürlich der erst vor 2 Monaten in Betrieb genommene Linuxserver seine Daseinsberechtigung verloren… und wurde (mal wieder) durch eine NSLU von Linksys und 2x 16GB Usb Sticks ersetzt. Die NSLU übernimmt hier nur noch die internen Mailservertätigkeiten mit dem altbekannten Dreigestirn Postfix (SMTP), Bogofilter (Spamfilter) und natürlich Dovecot (IMAP/POP).

Zusätzlich läuft auf der NSLU noch ein pure-ftp FTP Server, lighttpd + php5 + eaccelerator als Webumgebung sowie die Sicherung per backup2l. Gesichert werden hier nich nur die Mails, sondern auch die neuen Domains. Das ganze wird hier später noch genauer inkl. der kleinen Scripte vorgestellt:

Per sshfs wird das Filesystem der Domänen lokal gemountet. Auf dem Webserver des Hosters läuft ein CRON-Job, der jede Minute ein Script auf dem Server startet. Das Script schaut zunächst in einem Verzeichniss nach einem Startflag (Datei). Wenn die Datei gefunden wurde dumpt es die gefüllten MySQL Datenbanken ins Filesystem und schreibt die Aktionen in ein Logfile.

Auf der NSLU wird per CRON-Job das Backuptool backup2l gestartet. In der Config des Backuptools wird vor dem Backup ein Script gestartet, dass per sshfs das Dateisystem des Webservers mountet und das Startflag für den CRON-Job auf dem Webserver erzeugt. Nach einem Timeout von 5 Minuten wird geprüft ob das Datenbankbackup gelaufen ist und eine entsprechende Meldung ausgegeben. Anschließend läuft backup2l los und sichert ber afio und gzip den Inhalt des Filesystems. Bzip ist einfach zu viel für die kleine 266 MHz Arm CPU der NSLU (zumal hier nur 32 MB RAM zur Verfügung stehen!). Hier wird alle 2 Wochen eine Vollsicherung angelegt und im restlichen Zeitraum inkrementell gesichert. Die Files landen auf dem zweiten USB Stick – von da gehts in regelmäßigen Abständen ab aufs NAS. Die Lösung ist sehr effektiv und spart vor allem Transfervolumen. So werden täglich eigentlich nur die Datenbank + einige wenige Änderungen an den Files  gesichert.

Die Scripte folgen…

Mailserver mit Postfix aufsetzen (Howto)

Bevor wir daran gehen einen Mailserver zu installieren sollten wir uns über den genauen Einsatz und vor allem die Rahmenbedingungen Gedanken machen. Klar, ein Mailserver soll Mails verarbeiten. Die Frage ist aber vielmehr, wie soll denn unser Mailserver Emails an externe Konten zustellen. Also Email-Adressen, die nicht innerhalb der Email-Domäne (domain.org) des Mailservers liegen. Hierfür gibt es zwei Methoden. Entweder unser Mailserver stellt die Emails direkt an die Fremde Domäne zu oder aber man bedient sich eines sogenannten Smarthosts für die Zustellung. Hierbei versendet der Mailserver die Email nicht direkt an den Zielserver, sondern übergibt diese zunächst an einen (vertrauenswürdigen) Mailserver, der diese Email dann weiterleitet.

Hintergrund für die Verwendung eines Smarthosts ist, dass fast alle Emailserver keine Emails von Servern mit dynamischer IP Adresse annehmen. Denn in der Regel sind solche Server nichts weiter als Spamversender, in der Regel gekaperter Rechner, die als Spamschleudern dienen. Leider betrifft dieses Problem auch „saubere“ Mailserver wie z.B. meinen eigenen. Gut 80% der Emails, die man versucht direkt zu zustellen kommen nicht an. Daher habe ich mich entschieden, mir einen Anbieter zu suchen, der nach Authentifizierung durch einen entsprechenden Benutzeraccount Mail-Relaying zulässt. Also das versenden von Emails für einen Fremden Server. Die meisten Freemailer bieten diesen Dienst nicht an. Es gibt aber einige, wenige erfreuliche Ausnahmen. So zum Beispiel der Mailserver von Arcor, den auch ich als Smarthost benutzte.

[Read more…]

Aktuell installierte Pakete

Hier eine Liste der aktuell installierten Pakete auf meinem Server. Wenn man den Server genau so aufsetzen möchte, wie ich es habe kann man die Liste kopieren und in einer Textdatei abspeichern, um sie anschließend an apt zu übergeben. Eventuell sollte man das ein oder andere Tool, das man nicht haben möchte zuvor aus der Liste streichen. 🙂 Achtung! Die Liste enthält das Programm Webmin. Seid Debian Etch gehört Webmin nicht mehr zum Lieferumfang der Distribution. Das Programm gibt es hier als .deb Paket. Das würde dann so aussehen:

apt-get install < programmliste.txt

[Read more…]

Basis Installation eines Debian „Etch“ Linux Servers

Bei der Installation habe ich mir zunächst ein nacktes Debian Etch installiert. Nur die Basispakete, keine Server-Pakete oder gar Desktop-Pakete. Somit ist sichergestellt, dass man zum einen ein sehr schlankes System bekommt, das nicht unnötig mit Ballast aufgefüllt wird den man eh nicht benötigt und zum anderen sinkt die Installationszeit des Systems so auf ein Minimum. Nicht zu vergessen: Wenn man über das Netzwerk installiert wird hier die herunterzuladende Größe ebenfalls minimiert.

Das Plattenlayout sieht bei mir wie folgt aus:

> fdisk -l /dev/hda
Disk /dev/hda: 80.0 GB, 80060424192 bytes
255 heads, 63 sectors/track, 9733 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Device Boot         Start         End      Blocks   Id  System
/dev/hda1   *           1         973     7815591   83  Linux
/dev/hda2             974        9733    70364700    5  Extended
/dev/hda5             974        1097      995998+  82  Linux swap / Solaris
/dev/hda6            1098        2313     9767488+  83  Linux
/dev/hda7            2314        9733    59601118+  83  Linux

Ich habe noch eine externe Festplatte, die per USB angeschlossen wird und als Backup Medium dient. Diese hat die selbe Kapazität wie die interne Platte.

> fdisk -l /dev/sda
Disk /dev/sda: 80.0 GB, 80026361856 bytes
255 heads, 63 sectors/track, 9729 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Device Boot         Start         End      Blocks   Id  System
/dev/sda1               1        9729    78148161   83  Linux

[Read more…]

Ist-Aufnahme

Hier eine Auflistung der vorhandenen Hardware und der benötigten Serverdienste.

Vorhandene Hardware:

  • Via Epia System
  • VIA C7 Prozessor, 1GHZ
  • 512 MB Ram
  • CLE 266 Chipsatz
  • DVD/ CD-RW Combi
  • 80 GB Notebookfestplatte, 8MB Cache
  • Externe USB 2.0 Festplatte, 80 GB, 2 MB Cache
  • Brother HL 2030 Laserdrucker, USB

[Read more…]