Ein Syslog Server, das Backup [Adminstuff]

Diese Seite ist nicht editierbar. Sie können den Quelltext sehen, jedoch nicht verändern. Kontaktieren Sie den Administrator, wenn Sie glauben, dass hier ein Fehler vorliegt.
====== Ein Syslog Server, das Backup ======

  * Urspruenglicher Autor: Ramon Kukla
  * Urspruengliches Datum: 09.12.2011

Heute ein Folgebeitrag zum Artikel [[http://adminstories.de/index.php?/archives/101-Einrichten-eines-Syslog-Servers.html|Einrichten eines Syslog Servers]]. In diesem wurden ja einige Schritte zur Einrichtung eines Syslogservers beschrieben, der eingehende Logs in eine MySQL-Datenbank schreibt. Das ist auch soweit toll, bis auf... Bis auf die Punkte Backup und Logrotation. Im dargestellten Artikel bin ich mit keinem Wort auf einen der beiden Punkte eingegangen. Das moechte ich nun nachholen.

Warum ueberhaupt Backup und Rotation?

Die Logs die ich einsammel enthalten Details, die mir im Fall eines Problems oder Vorfalls helfen koennen benoetigte Informationen auf die Schnelle zentral zu sichten. Wenn das Ereignis, ueber das ich mich informieren moechte, nun zwei Tage zurueck liegt, mir aber am Tag vorher die Daten verloren gegangen sind (Servercrash, etc.), waere das schon doof. Daher also Backup. Und die Rotation soll einfach helfen die anfallenden Datenmengen zu begrenzen. Denn Logs von vor zwei Tagen duerften mal helfen koennen. Aber ab einem bestimmten Alter sind Logs in der Regel nicht mehr interessant. Ich habe den Zeitraum fuer mich mal auf 90 Tage festgelegt.

Die Daten, um die es mir nachfolgend geht, liegen in der Datenbank Syslog in der Tabelle SystemEvents. Um ein "richtiges" Backup zu haben uebernehme ich taeglich die Daten vom Vortag in eine neue Tabelle, exportiere diese und sicher die dann weg.

Also fangen wir an und erstellen eine Tabelle, die die anfallenden Daten aufnehmen kann.

<code>mysql -u root -p -e "CREATE TABLE Syslog.SystemEventsBackup LIKE Syslog.SystemEvents" Syslog</code>

Hiermit wird in der Datenbank ''Syslog'' die neue Tabelle ''SystemEventsBackup'' erstellt, die die gleichen Eigenschaften wie die Tabelle ''SystemEvents'' hat. Moechte ich nun die Daten des Vortags sichern, fuege ich diese erst einmal in meine neue Tabelle ein, nachdem ich die vorher geleert habe.

<code>mysql -u root -p -e "TRUNCATE Syslog.SystemEventsBackup" Syslog
mysql -u root -p -e "INSERT INTO Syslog.SystemEventsBackup SELECT * FROM SystemEvents WHERE datediff( curdate() , ReceivedAt ) =1" Syslog</code>

Habe ich die Abfrage nun ausgefuehrt kann ich hergehen und die Tabelle via ''mysqldump'' exportieren.

<code bash>root@server:~# mysqldump -u root -p Syslog SystemEventsBackup > test.sql
Enter password:</code>

Prima, die Sicherung klappt schon mal. Nun noch schauen, dass die Eintraege, die aelter als 90 Tage sind, entfernt werden. Fuer einen ersten Versuch schauen wir erst mal, ob die Anfrage korrekt laueft und nehmen alles, was aelter als 10 Tage ist.

<code>mysql -u root -p -e "SELECT * FROM SystemEvents WHERE unix_timestamp(ReceivedAt) < unix_timestamp() - 10*24*60*60" Syslog</code>

Ist das Resultat wie wir es erwarten koennen wir aus dem SELECT ein DELETE machen. Fuer die mit den schnellen Finger. Hiernach sind die Daten erst mal weg.

<code>mysql -u root -p -e "DELETE FROM SystemEvents WHERE unix_timestamp(ReceivedAt) < unix_timestamp() - 10*24*60*60" Syslog</code>

Somit haben wir also alles zusammen um uns ein Script zu schreiben, dass uns taeglich eine Sicherung der gestrigen Daten macht und anschliessend alle Daten in der Datenbank loescht, die aelter als 90 Tage sind.

<code bash>#!/bin/bash

logger -t backrotate.bash -i "Starting backrotate.bash"

TIMESTAMP=$(date "+%Y%m%d-%H%M")
TARGET_DIRECTORY="/var/tmp"
DB_PREFIX="db."

DB_USERNAME="username"
DB_PASSWORD="password"
DB_DATABASE="Syslog"
DB_TABLE="SystemEvents"
DB_BAKTABLE="SystemEventsBackup"
DB_ENTRIES="`mysql -u $DB_USERNAME -p$DB_PASSWORD -e "SELECT COUNT(*) FROM SystemEvents WHERE unix_timestamp(ReceivedAt) < unix_timestamp() - 90*24*60*60" Syslog | egrep "[0-9]{1,}" -o`"

logger -t backrotate.bash -i "creating backupfile"

FILENAME=$TARGET_DIRECTORY/$DB_DATABASE-$TIMESTAMP.sql.bz2
mysql -u $DB_USERNAME -p$DB_PASSWORD -e "TRUNCATE $DB_BAKTABLE" $DB_DATABASE
mysql -u $DB_USERNAME -p$DB_PASSWORD -e "INSERT INTO $DB_DATABASE.$DB_BAKTABLE SELECT * FROM $DB_TABLE WHERE datediff( curdate() , ReceivedAt ) =1" $DB_DATABASE
mysqldump -u $DB_USERNAME -p$DB_PASSWORD $DB_DATABASE $DB_BAKTABLE | bzip2 -9 > $FILENAME

logger -t backrotate.bash -i "backupfile $FILENAME created"
logger -t backrotate.bash -i "deleting $DB_ENTRIES database-entries >90 days"

mysql -u $DB_USERNAME -p$DB_PASSWORD -e "SELECT * FROM $DB_TABLE WHERE unix_timestamp(ReceivedAt) < unix_timestamp() - 90*24*60*60" $DB_DATABASE</code>

Diejenigen von euch, die schon laenger mitlesen werden zu Recht anmerken, dass ich mich nicht an die [[http://adminstories.de/index.php?/archives/13-Fehler-und-Logging.html|eigenen Hinweis]] halte. Natuerlich mache ich das :) Obiger Job soll ja nur das Geruest sein. In "meiner" Produktion habe ich das natuerlich entsprechend erweitert. ;)


[[adminstoriesartikel|Zurück zur Uebersicht]]