15
Bacula Bareos over Internet Backup Time Out?
Hallo,
da Sicherungen leider unumgänglich sind, aber gerade in kleineren Aussenstellen oft weder Personal noch entsprechende Technik vorgehalten wird soll dafür nun ein Netzwerkbackup per Bacula oder dessen neuen Fork Bareos durchgeführt werden.
Dazu soll nun auf einen Zentralen Server per Internet die Dateien gesichert werden. Eine Test Erstsyncrhonisation ist erfolgreich durchgelaufen. Deswegen scheint die Konfiguration in Ordnung zu sein. Dabei beläuft sich der Datenaufwand auf ca 3GB Roh oder ca 1,6 per GZIP3 Kompression. Soweit alles i.O.
Nun zum eigentlichen Problem: Versuche ich eine Erstsynchronisation des kompletten Datenbestandes durch zu führen (~30GB) bricht Bareos dies nach ca 10-13GB ab.
Die Frage nun:
1. Gibt es eine Möglichkeit Bareos darauf vor zu bereiten, dass es per Internet größere Dateien sichert? Neben dem Heartbeat Schalter im Client FD und der Kompression?
2. Wie stelle ich es ein, dass auch mal ein 2-3 minütiger Internetabbruch (falls resync, VPN Abbruch ovgl auftritt) ohne Komplettabbruch einfach akzeptiert wird?
3. Gibt es noch eine stärkere Kompression oder eine Alternative dazu um die Datenmassen zu verkleinern?
Wie löst ihr diese Problematik?
Vielen Dank für eure Hilfe und noch einen angenehmen Feiertag.
Gruß
Nun zum eigentlichen Problem: Versuche ich eine Erstsynchronisation des kompletten Datenbestandes durch zu führen (~30GB) bricht Bareos dies nach ca 10-13GB ab.
Die Frage nun:
1. Gibt es eine Möglichkeit Bareos darauf vor zu bereiten, dass es per Internet größere Dateien sichert? Neben dem Heartbeat Schalter im Client FD und der Kompression?
2. Wie stelle ich es ein, dass auch mal ein 2-3 minütiger Internetabbruch (falls resync, VPN Abbruch ovgl auftritt) ohne Komplettabbruch einfach akzeptiert wird?
3. Gibt es noch eine stärkere Kompression oder eine Alternative dazu um die Datenmassen zu verkleinern?
Wie löst ihr diese Problematik?
Vielen Dank für eure Hilfe und noch einen angenehmen Feiertag.
Gruß
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 205915
Url: https://administrator.de/contentid/205915
Printed on: April 25, 2024 at 22:04 o'clock
15 Comments
Latest comment
Hallo,
ich würde das Backup lokal komprimieren und speichern und erst dann übertragen wollen!
So kann man schneller agieren und weder der Kompressionsvorgang noch der Backupvorgang werden beeinträchtigt!
Man kann dann die Daten auch via SFTP sichern und die Daten sind dann ja auch verschlüsselt und gesichert,
bzw. deren Übertragung, aber man hat dann eben schon einmal zwei Störfaktoren weniger, denn einen abgebrochenen
FTP Upload oder Download kann man ja auch schnell wieder aufgreifen und weiter führen aber eben den gesamten Backupvorgang nicht so schnell!
Gruß
Dobby
ich würde das Backup lokal komprimieren und speichern und erst dann übertragen wollen!
So kann man schneller agieren und weder der Kompressionsvorgang noch der Backupvorgang werden beeinträchtigt!
Man kann dann die Daten auch via SFTP sichern und die Daten sind dann ja auch verschlüsselt und gesichert,
bzw. deren Übertragung, aber man hat dann eben schon einmal zwei Störfaktoren weniger, denn einen abgebrochenen
FTP Upload oder Download kann man ja auch schnell wieder aufgreifen und weiter führen aber eben den gesamten Backupvorgang nicht so schnell!
Gruß
Dobby
Hallo Dobby,
danke für deinen Einwand.
Leider widerspricht das aber der Zielsetzung.
Das Problem tritt imho auch nur bei den Vollbackups auf und ich gehen nun einfach mal davon aus, dass es eine Möglichkeit gibt dies zu lösen.
Wie gesagt, bei kleineren Sicherungen (ca 3GB Test) läuft alles wunderbar. Pro Tag entstehen im Schnitt ca 150-200MB, wobei da die entladenen und komprimierten DBs schon mit einberechnet sind. Deswegen steht eben nun nur noch die Sache mit "Wie behebe ich die TimeOuts bei den Erst und Fullbackups?" an. Evtl ist hier ja jemand, der sich bereits durch die Problematik gekämpft hat, da die Ressourcen mir dazu keine schlüssige Antwort geben konnten.
Dennoch vielen Dank,
Gruß
danke für deinen Einwand.
Leider widerspricht das aber der Zielsetzung.
Das Problem tritt imho auch nur bei den Vollbackups auf und ich gehen nun einfach mal davon aus, dass es eine Möglichkeit gibt dies zu lösen.
Wie gesagt, bei kleineren Sicherungen (ca 3GB Test) läuft alles wunderbar. Pro Tag entstehen im Schnitt ca 150-200MB, wobei da die entladenen und komprimierten DBs schon mit einberechnet sind. Deswegen steht eben nun nur noch die Sache mit "Wie behebe ich die TimeOuts bei den Erst und Fullbackups?" an. Evtl ist hier ja jemand, der sich bereits durch die Problematik gekämpft hat, da die Ressourcen mir dazu keine schlüssige Antwort geben konnten.
Dennoch vielen Dank,
Gruß
Moin moin 
Also, erstens solltest Du Dein Backup-Konzept überdenken.
Keine Backup-Software mag das, wenn sie in einen Timeout läuft.
Ergo hast Du folgende Möglichkeiten:
- Backup clientseitig mit 7zip einzudampfen
- DRBD ist auch eine sehr feine Sache
- Du steigst um auf eine andere Backup-Software
Ich habe das in solchen Fällen andersrum gelöst:
in den Außenstellen stehen (Billig-)NAS, die über Portforwarding von außen erreichbar sind.
Auf diesen legt die Backup-Software die Sicherungen gesplittet auf 100MB-Pakete ab.
Diese holt der zentrale Firmenserver dann mit rsync.
Hat folgende Vorteile:
da nur der zentrale Server von außen drauf zugreift, kann ich für IP x priorisieren
Da das NAS über speziellen Port und User/Pass erreichbar ist, geht auch das Troubleshooting sehr schnell.
Und last but not least: 100MB haben sich in der Vergangenheit als akzeptable Größe herausgestellt, in vieler Hinsicht...
Oh, und Du hast ein lokales Backup zusätzlich
Lonesome Walker
Also, erstens solltest Du Dein Backup-Konzept überdenken.
Keine Backup-Software mag das, wenn sie in einen Timeout läuft.
Ergo hast Du folgende Möglichkeiten:
- Backup clientseitig mit 7zip einzudampfen
- DRBD ist auch eine sehr feine Sache
- Du steigst um auf eine andere Backup-Software
Ich habe das in solchen Fällen andersrum gelöst:
in den Außenstellen stehen (Billig-)NAS, die über Portforwarding von außen erreichbar sind.
Auf diesen legt die Backup-Software die Sicherungen gesplittet auf 100MB-Pakete ab.
Diese holt der zentrale Firmenserver dann mit rsync.
Hat folgende Vorteile:
da nur der zentrale Server von außen drauf zugreift, kann ich für IP x priorisieren
Da das NAS über speziellen Port und User/Pass erreichbar ist, geht auch das Troubleshooting sehr schnell.
Und last but not least: 100MB haben sich in der Vergangenheit als akzeptable Größe herausgestellt, in vieler Hinsicht...
Oh, und Du hast ein lokales Backup zusätzlich
Lonesome Walker
Moin LW,
deswegen auch genau die Frage dazu:
1. Wie bekomme ich es hin dieses Time Out zu umschiffen? Eine Netzwerk Backuplösung dieser Größe müsste doch (als andere halte ich für unglaubwürdig) einen Schalter haben für - probiere es bei Verbindungsabbruch für n Minuten jeweils alle Minute weiter dich neu zu verbinden.
2. Das Backup wird Clientseitig bereits durch GZIP3 auf 46% heruntergeschrumpft. Wenn da noch mehr drin ist. Bitte.
3. Müsste ich in diesem Fall auf jedem Server eine Installation vorhalten. Ob dies Wartungsfreundlicher ist fraglich. Dann gehört natürlich auch noch ein Backup der DB des BackupServers dazu.
4. Auch hierbei könnte ich theoretisch priorisieren. Aber Nachts wird nicht gearbeitet, von daher egal.
Also wäre super, wenn man nicht grundsätzlich das Konzept in Frage stellt. Das ist soweit alles mehrmals durchgegangen worden und als beste Option für ein effizientes Backup durchgenommen worden. Eine Unteroption war es auch mehrere kleine Backups von der jeweiligen Außenstelle vor zu nehmen, dies macht es dann aber schon wieder unübersichtlich. Daher nochmals die beiden Kernfragen:
I. Gibt es einen Schalter gegen Timeouts neben dem Heartbeat?
II. Kann man die Compression intern noch höher setzen?
Vielen Dank,
Schöne Grüße
deswegen auch genau die Frage dazu:
1. Wie bekomme ich es hin dieses Time Out zu umschiffen? Eine Netzwerk Backuplösung dieser Größe müsste doch (als andere halte ich für unglaubwürdig) einen Schalter haben für - probiere es bei Verbindungsabbruch für n Minuten jeweils alle Minute weiter dich neu zu verbinden.
2. Das Backup wird Clientseitig bereits durch GZIP3 auf 46% heruntergeschrumpft. Wenn da noch mehr drin ist. Bitte.
3. Müsste ich in diesem Fall auf jedem Server eine Installation vorhalten. Ob dies Wartungsfreundlicher ist fraglich. Dann gehört natürlich auch noch ein Backup der DB des BackupServers dazu.
4. Auch hierbei könnte ich theoretisch priorisieren. Aber Nachts wird nicht gearbeitet, von daher egal.
Also wäre super, wenn man nicht grundsätzlich das Konzept in Frage stellt. Das ist soweit alles mehrmals durchgegangen worden und als beste Option für ein effizientes Backup durchgenommen worden. Eine Unteroption war es auch mehrere kleine Backups von der jeweiligen Außenstelle vor zu nehmen, dies macht es dann aber schon wieder unübersichtlich. Daher nochmals die beiden Kernfragen:
I. Gibt es einen Schalter gegen Timeouts neben dem Heartbeat?
II. Kann man die Compression intern noch höher setzen?
Vielen Dank,
Schöne Grüße
Hi,
wie wäre es denn mal zu gucken was eigentlich zu der Zeit passiert?
Könnte das keine 24 Stunden Zwangstrennung oder so sein?
VG
Deepsys
wie wäre es denn mal zu gucken was eigentlich zu der Zeit passiert?
Könnte das keine 24 Stunden Zwangstrennung oder so sein?
VG
Deepsys
Hallo @Deepsys,
danke, aber genau deswegen Punkt 1. :
"1. Wie bekomme ich es hin dieses Time Out zu umschiffen? Eine Netzwerk Backuplösung dieser Größe müsste doch (alles andere halte ich für unglaubwürdig) einen Schalter haben für - "probiere es bei Verbindungsabbruch für n Minuten jeweils alle n Minute weiter dich neu zu verbinden. "
danke, aber genau deswegen Punkt 1. :
"1. Wie bekomme ich es hin dieses Time Out zu umschiffen? Eine Netzwerk Backuplösung dieser Größe müsste doch (alles andere halte ich für unglaubwürdig) einen Schalter haben für - "probiere es bei Verbindungsabbruch für n Minuten jeweils alle n Minute weiter dich neu zu verbinden. "
Nein, du sollst keinen Schalter in der Backup-Software suchen, du sollte suchen WARUM du den Timeout wirklich bekommst.
Wenn die Leitung sauber ist, muss es klappen, aber irgendwas funkt dir dazwischen, aber was?
Jetzt klarer?
Wenn die Leitung sauber ist, muss es klappen, aber irgendwas funkt dir dazwischen, aber was?
Jetzt klarer?
Nein, es war von vornherein schon klar. Das zwischen 4.25 und 4.30 ein resync der Leitung war. Von daher, ich weiss den Grund, wie sage ich Bacula/Bareos nun, dass dies eben kein Grund ist aufzuhören - zumindestens nicht, wenn dieser "Grund" länger als 10minuten anhält.
Nochmals als Anmerkung: Dieses Problem dürfte sich nach dem Erstbackup gelöst haben.
Nochmals als Anmerkung: Dieses Problem dürfte sich nach dem Erstbackup gelöst haben.
Zitat von @falscher-sperrstatus:
Nein, es war von vornherein schon klar. Das zwischen 4.25 und 4.30 ein resync der Leitung war.
Das hättest du uns aber auch gerne sagen dürfen ...Nein, es war von vornherein schon klar. Das zwischen 4.25 und 4.30 ein resync der Leitung war.
Nochmals als Anmerkung: Dieses Problem dürfte sich nach dem Erstbackup gelöst haben.
Na dann guck doch einfach das du den Resync nicht im Backup sondern vorher hinkriegst, fertig!Das können die meisten Router irgendwie ...
VG
Deepsys
@Deepsys: Sorry, aber das tut effektiv nichts zur Sache. Ich bin ein Freund der Automatisierung. Sprich die Systeme die ich aufsetze sollen nach Möglichkeit auch noch laufen, wenn ich 2 Monate im Urlaub ohne Internet bin. Werde ich zwar wohl nie, da ich meinen Job dazu zu sehr mag. Nicht desto trotz kann man seine Zeit sinnvoller investieren.
Deswegen: Egal, weswegen die Leitung gerade kurzzeitig spinnt, das kann vom resync, bis zu einem kurzfristigen VPN Abbruch oder whatever alles sein möchte ich, wenn es dazu eine Möglichkeit gibt (wonach gefragt ist) diese finden, um das TimeOut nach oben zu korrigieren. Damit ich mich mit Fehlern nur herumschlagen muss, wenn sie wirklich unplanbar sind. Deswegen investiere ich auch die Zeit hier hinein. Abgesehen davon: 30 GB an Daten, ca 10h Laufzeit, wobei bis zum Abbruch 11GB übertragen wurden. Reync nach 24h würde dann nie zum Ziel führen.
Deswegen: Egal, weswegen die Leitung gerade kurzzeitig spinnt, das kann vom resync, bis zu einem kurzfristigen VPN Abbruch oder whatever alles sein möchte ich, wenn es dazu eine Möglichkeit gibt (wonach gefragt ist) diese finden, um das TimeOut nach oben zu korrigieren. Damit ich mich mit Fehlern nur herumschlagen muss, wenn sie wirklich unplanbar sind. Deswegen investiere ich auch die Zeit hier hinein. Abgesehen davon: 30 GB an Daten, ca 10h Laufzeit, wobei bis zum Abbruch 11GB übertragen wurden. Reync nach 24h würde dann nie zum Ziel führen.
Moin,
Naja, jeder macht es halt etwas anders
Ich würde mir überlegen, das Erstbackup per USB-Platte zu kopieren.
Ebenso würde ich mir den Vorschlag von Lonesome Walker noch mal angucken. Denn ein RSync oder auch ein Robocopy (das ich für sowas nehme) kommen damit klar.
Aber gut wenn ihr das so nicht wollt, dann musst du dir etwas für Bareos suchen.
Dann kann ich dir allerdings dabei nicht mehr weiterhelfen.
VG
Deepsys
Naja, jeder macht es halt etwas anders
ich auch die Zeit hier hinein. Abgesehen davon: 30 GB an Daten, ca 10h Laufzeit, wobei bis zum Abbruch 11GB übertragen
wurden. Reync nach 24h würde dann nie zum Ziel führen.
Das stimmt allerdings auch.wurden. Reync nach 24h würde dann nie zum Ziel führen.
Ich würde mir überlegen, das Erstbackup per USB-Platte zu kopieren.
Ebenso würde ich mir den Vorschlag von Lonesome Walker noch mal angucken. Denn ein RSync oder auch ein Robocopy (das ich für sowas nehme) kommen damit klar.
Aber gut wenn ihr das so nicht wollt, dann musst du dir etwas für Bareos suchen.
Dann kann ich dir allerdings dabei nicht mehr weiterhelfen.
VG
Deepsys
Guten Morgen,
Wenn es am Ziel vorbei läuft. Imho funktioniert ein Initial Backup per USB bei Bareos gar nicht.
Robocopy und rsync habe ich bisher genutzt. Da sind die Archiv Funktionen leider allerdings ungenügend.
OK, dann muss ich wohl darauf hoffen, das hier mal jemand reinschaut, der sich damit auskennt
Gruß
Wenn es am Ziel vorbei läuft. Imho funktioniert ein Initial Backup per USB bei Bareos gar nicht.
Robocopy und rsync habe ich bisher genutzt. Da sind die Archiv Funktionen leider allerdings ungenügend.
OK, dann muss ich wohl darauf hoffen, das hier mal jemand reinschaut, der sich damit auskennt
Gruß
Zitat von @falscher-sperrstatus:
Robocopy und rsync habe ich bisher genutzt. Da sind die Archiv Funktionen leider allerdings ungenügend.
Robocopy und rsync habe ich bisher genutzt. Da sind die Archiv Funktionen leider allerdings ungenügend.
WER sagt das?
DU?
Bedaure, aber dann hast Du anscheinend nicht begriffen, was rsync macht.
Das Archiv-Erzeugen macht das eine Script, das Synchronisieren in den Hauptstandort das andere Script.
Und davor macht Bacula/Bareos seine Arbeit, sonst gibt es nix zu synchronisieren.
Ich verstehe ja echt nicht, wie Du einerseits sagst, Du willst ein wartungsarmes System, Dich andererseits aber weigerst, von DEINER geplanten (aber NICHT FUNKTIONIERENDEN) Strategie abzuweichen.
Lonesome Walker
Sprich, wenn ich drei Bacula Installationen ist das deiner Meinung wartungsärmer, als wenn ich eine solide Lösung habe, bei der alles zusammenläuft? Wie ist das mit Benachrichtigung wenn irgendwo (k)ein Fehler auftritt?
Hallo nochmal,
lange Rede kurzer Sinn.
Wenn ich alles auf einmal machen lasse und ein Fehler entsteht suche ich in einer Anwendung
und wenn ich das in drei Schritten machen lasse sehe ich sofort welche nicht funktioniert hat!
- Lokal ein Backup machen und Backup überprüfen
- An den Hauptstandort übertragen und Übertragung überprüfen
Wenn Bacula die Dateien sichert und ein .tar.gz anlegt aber über das Internet schreibt und es zu einem
Fehler oder "Aussetzer" kommt kann der eben nicht mehr korrigiert werden und das Backup scheitert.
Wenn aber das Backup lokal ausgeführt wird und dann "nur" die Datenübertragung abbricht kann man diese
unter Umständen wieder aufnehmen bzw. fortführen.
Es ist ja nicht so das man ein Backup auf ein lokales Medium macht oder im Lokalen Netzwerk ein Backup
anlegt sondern das es eben über das Internet geschieht und dort eben auch verschiedene Verbindungspunkte bzw. Knoten vorhanden sind die man als Fehlerquelle nun mal schlecht einschätzen kann.
Aber bei einer bestehenden VPN Verbindung würde ich es eben immer vorziehen wollen dass ich erst das
lokale Backup mache und dann die gesicherten und gepackten Daten verschiebe (kopiere) und danach eben
diesen Vorgang prüfe! Alles fertig in drei Schritten.
Gruß
Dobby
Aber manchmal hat man eben so einen fixen Gedanken von dem man nicht lassen kann
lange Rede kurzer Sinn.
Wenn ich alles auf einmal machen lasse und ein Fehler entsteht suche ich in einer Anwendung
und wenn ich das in drei Schritten machen lasse sehe ich sofort welche nicht funktioniert hat!
- Lokal ein Backup machen und Backup überprüfen
- An den Hauptstandort übertragen und Übertragung überprüfen
Wenn Bacula die Dateien sichert und ein .tar.gz anlegt aber über das Internet schreibt und es zu einem
Fehler oder "Aussetzer" kommt kann der eben nicht mehr korrigiert werden und das Backup scheitert.
Wenn aber das Backup lokal ausgeführt wird und dann "nur" die Datenübertragung abbricht kann man diese
unter Umständen wieder aufnehmen bzw. fortführen.
Es ist ja nicht so das man ein Backup auf ein lokales Medium macht oder im Lokalen Netzwerk ein Backup
anlegt sondern das es eben über das Internet geschieht und dort eben auch verschiedene Verbindungspunkte bzw. Knoten vorhanden sind die man als Fehlerquelle nun mal schlecht einschätzen kann.
Aber bei einer bestehenden VPN Verbindung würde ich es eben immer vorziehen wollen dass ich erst das
lokale Backup mache und dann die gesicherten und gepackten Daten verschiebe (kopiere) und danach eben
diesen Vorgang prüfe! Alles fertig in drei Schritten.
Gruß
Dobby
Aber manchmal hat man eben so einen fixen Gedanken von dem man nicht lassen kann
