Top-Themen

AppleEntwicklungHardwareInternetLinuxMicrosoftMultimediaNetzwerkeOff TopicSicherheitSonstige SystemeVirtualisierungWeiterbildungZusammenarbeit

Aktuelle Themen

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit
GELÖST

Bacula Bareos over Internet Backup Time Out?

Frage Sicherheit Backup

Mitglied: certifiedit.net

certifiedit.net (Level 4) - Jetzt verbinden

01.05.2013, aktualisiert 16:53 Uhr, 4249 Aufrufe, 15 Kommentare, 1 Danke

Hallo,

da Sicherungen leider unumgänglich sind, aber gerade in kleineren Aussenstellen oft weder Personal noch entsprechende Technik vorgehalten wird soll dafür nun ein Netzwerkbackup per Bacula oder dessen neuen Fork Bareos durchgeführt werden.

Dazu soll nun auf einen Zentralen Server per Internet die Dateien gesichert werden. Eine Test Erstsyncrhonisation ist erfolgreich durchgelaufen. Deswegen scheint die Konfiguration in Ordnung zu sein. Dabei beläuft sich der Datenaufwand auf ca 3GB Roh oder ca 1,6 per GZIP3 Kompression. Soweit alles i.O.

Nun zum eigentlichen Problem: Versuche ich eine Erstsynchronisation des kompletten Datenbestandes durch zu führen (~30GB) bricht Bareos dies nach ca 10-13GB ab.

Die Frage nun:
1. Gibt es eine Möglichkeit Bareos darauf vor zu bereiten, dass es per Internet größere Dateien sichert? Neben dem Heartbeat Schalter im Client FD und der Kompression?
2. Wie stelle ich es ein, dass auch mal ein 2-3 minütiger Internetabbruch (falls resync, VPN Abbruch ovgl auftritt) ohne Komplettabbruch einfach akzeptiert wird?
3. Gibt es noch eine stärkere Kompression oder eine Alternative dazu um die Datenmassen zu verkleinern?

Wie löst ihr diese Problematik?

Vielen Dank für eure Hilfe und noch einen angenehmen Feiertag.

Gruß
Mitglied: Dobby
01.05.2013 um 17:36 Uhr
Hallo,

ich würde das Backup lokal komprimieren und speichern und erst dann übertragen wollen!
So kann man schneller agieren und weder der Kompressionsvorgang noch der Backupvorgang werden beeinträchtigt!

Man kann dann die Daten auch via SFTP sichern und die Daten sind dann ja auch verschlüsselt und gesichert,
bzw. deren Übertragung, aber man hat dann eben schon einmal zwei Störfaktoren weniger, denn einen abgebrochenen
FTP Upload oder Download kann man ja auch schnell wieder aufgreifen und weiter führen aber eben den gesamten Backupvorgang nicht so schnell!

Gruß
Dobby
Bitte warten ..
Mitglied: certifiedit.net
01.05.2013 um 18:07 Uhr
Hallo Dobby,
danke für deinen Einwand.

Leider widerspricht das aber der Zielsetzung.

Das Problem tritt imho auch nur bei den Vollbackups auf und ich gehen nun einfach mal davon aus, dass es eine Möglichkeit gibt dies zu lösen.

Wie gesagt, bei kleineren Sicherungen (ca 3GB Test) läuft alles wunderbar. Pro Tag entstehen im Schnitt ca 150-200MB, wobei da die entladenen und komprimierten DBs schon mit einberechnet sind. Deswegen steht eben nun nur noch die Sache mit "Wie behebe ich die TimeOuts bei den Erst und Fullbackups?" an. Evtl ist hier ja jemand, der sich bereits durch die Problematik gekämpft hat, da die Ressourcen mir dazu keine schlüssige Antwort geben konnten.

Dennoch vielen Dank,

Gruß
Bitte warten ..
Mitglied: 16568
02.05.2013, aktualisiert um 05:42 Uhr
Moin moin

Also, erstens solltest Du Dein Backup-Konzept überdenken.
Keine Backup-Software mag das, wenn sie in einen Timeout läuft.

Ergo hast Du folgende Möglichkeiten:
- Backup clientseitig mit 7zip einzudampfen
- DRBD ist auch eine sehr feine Sache
- Du steigst um auf eine andere Backup-Software

Ich habe das in solchen Fällen andersrum gelöst:
in den Außenstellen stehen (Billig-)NAS, die über Portforwarding von außen erreichbar sind.
Auf diesen legt die Backup-Software die Sicherungen gesplittet auf 100MB-Pakete ab.
Diese holt der zentrale Firmenserver dann mit rsync.

Hat folgende Vorteile:
da nur der zentrale Server von außen drauf zugreift, kann ich für IP x priorisieren
Da das NAS über speziellen Port und User/Pass erreichbar ist, geht auch das Troubleshooting sehr schnell.
Und last but not least: 100MB haben sich in der Vergangenheit als akzeptable Größe herausgestellt, in vieler Hinsicht...

Oh, und Du hast ein lokales Backup zusätzlich


Lonesome Walker
Bitte warten ..
Mitglied: certifiedit.net
02.05.2013 um 09:09 Uhr
Moin LW,

deswegen auch genau die Frage dazu:
1. Wie bekomme ich es hin dieses Time Out zu umschiffen? Eine Netzwerk Backuplösung dieser Größe müsste doch (als andere halte ich für unglaubwürdig) einen Schalter haben für - probiere es bei Verbindungsabbruch für n Minuten jeweils alle Minute weiter dich neu zu verbinden.

2. Das Backup wird Clientseitig bereits durch GZIP3 auf 46% heruntergeschrumpft. Wenn da noch mehr drin ist. Bitte.

3. Müsste ich in diesem Fall auf jedem Server eine Installation vorhalten. Ob dies Wartungsfreundlicher ist fraglich. Dann gehört natürlich auch noch ein Backup der DB des BackupServers dazu.

4. Auch hierbei könnte ich theoretisch priorisieren. Aber Nachts wird nicht gearbeitet, von daher egal.

Also wäre super, wenn man nicht grundsätzlich das Konzept in Frage stellt. Das ist soweit alles mehrmals durchgegangen worden und als beste Option für ein effizientes Backup durchgenommen worden. Eine Unteroption war es auch mehrere kleine Backups von der jeweiligen Außenstelle vor zu nehmen, dies macht es dann aber schon wieder unübersichtlich. Daher nochmals die beiden Kernfragen:

I. Gibt es einen Schalter gegen Timeouts neben dem Heartbeat?
II. Kann man die Compression intern noch höher setzen?

Vielen Dank,

Schöne Grüße
Bitte warten ..
Mitglied: Deepsys
02.05.2013 um 09:35 Uhr
Hi,

wie wäre es denn mal zu gucken was eigentlich zu der Zeit passiert?
Könnte das keine 24 Stunden Zwangstrennung oder so sein?

VG
Deepsys
Bitte warten ..
Mitglied: certifiedit.net
02.05.2013 um 11:04 Uhr
Hallo @Deepsys,

danke, aber genau deswegen Punkt 1. :

"1. Wie bekomme ich es hin dieses Time Out zu umschiffen? Eine Netzwerk Backuplösung dieser Größe müsste doch (alles andere halte ich für unglaubwürdig) einen Schalter haben für - "probiere es bei Verbindungsabbruch für n Minuten jeweils alle n Minute weiter dich neu zu verbinden. "
Bitte warten ..
Mitglied: Deepsys
02.05.2013, aktualisiert um 11:42 Uhr
Nein, du sollst keinen Schalter in der Backup-Software suchen, du sollte suchen WARUM du den Timeout wirklich bekommst.
Wenn die Leitung sauber ist, muss es klappen, aber irgendwas funkt dir dazwischen, aber was?

Jetzt klarer?
Bitte warten ..
Mitglied: certifiedit.net
02.05.2013 um 11:45 Uhr
Nein, es war von vornherein schon klar. Das zwischen 4.25 und 4.30 ein resync der Leitung war. Von daher, ich weiss den Grund, wie sage ich Bacula/Bareos nun, dass dies eben kein Grund ist aufzuhören - zumindestens nicht, wenn dieser "Grund" länger als 10minuten anhält.

Nochmals als Anmerkung: Dieses Problem dürfte sich nach dem Erstbackup gelöst haben.
Bitte warten ..
Mitglied: Deepsys
02.05.2013 um 16:16 Uhr
Zitat von certifiedit.net:
Nein, es war von vornherein schon klar. Das zwischen 4.25 und 4.30 ein resync der Leitung war.
Das hättest du uns aber auch gerne sagen dürfen ...

Nochmals als Anmerkung: Dieses Problem dürfte sich nach dem Erstbackup gelöst haben.
Na dann guck doch einfach das du den Resync nicht im Backup sondern vorher hinkriegst, fertig!
Das können die meisten Router irgendwie ...

VG
Deepsys
Bitte warten ..
Mitglied: certifiedit.net
02.05.2013, aktualisiert um 16:24 Uhr
@Deepsys: Sorry, aber das tut effektiv nichts zur Sache. Ich bin ein Freund der Automatisierung. Sprich die Systeme die ich aufsetze sollen nach Möglichkeit auch noch laufen, wenn ich 2 Monate im Urlaub ohne Internet bin. Werde ich zwar wohl nie, da ich meinen Job dazu zu sehr mag. Nicht desto trotz kann man seine Zeit sinnvoller investieren.

Deswegen: Egal, weswegen die Leitung gerade kurzzeitig spinnt, das kann vom resync, bis zu einem kurzfristigen VPN Abbruch oder whatever alles sein möchte ich, wenn es dazu eine Möglichkeit gibt (wonach gefragt ist) diese finden, um das TimeOut nach oben zu korrigieren. Damit ich mich mit Fehlern nur herumschlagen muss, wenn sie wirklich unplanbar sind. Deswegen investiere ich auch die Zeit hier hinein. Abgesehen davon: 30 GB an Daten, ca 10h Laufzeit, wobei bis zum Abbruch 11GB übertragen wurden. Reync nach 24h würde dann nie zum Ziel führen.
Bitte warten ..
Mitglied: Deepsys
03.05.2013 um 08:31 Uhr
Moin,
Zitat von certifiedit.net:
@Deepsys: Sorry, aber das tut effektiv nichts zur Sache.
Naja, jeder macht es halt etwas anders


ich auch die Zeit hier hinein. Abgesehen davon: 30 GB an Daten, ca 10h Laufzeit, wobei bis zum Abbruch 11GB übertragen
wurden. Reync nach 24h würde dann nie zum Ziel führen.
Das stimmt allerdings auch.
Ich würde mir überlegen, das Erstbackup per USB-Platte zu kopieren.

Ebenso würde ich mir den Vorschlag von Lonesome Walker noch mal angucken. Denn ein RSync oder auch ein Robocopy (das ich für sowas nehme) kommen damit klar.
Aber gut wenn ihr das so nicht wollt, dann musst du dir etwas für Bareos suchen.
Dann kann ich dir allerdings dabei nicht mehr weiterhelfen.

VG
Deepsys
Bitte warten ..
Mitglied: certifiedit.net
03.05.2013 um 08:42 Uhr
Guten Morgen,

Wenn es am Ziel vorbei läuft. Imho funktioniert ein Initial Backup per USB bei Bareos gar nicht.

Robocopy und rsync habe ich bisher genutzt. Da sind die Archiv Funktionen leider allerdings ungenügend.

OK, dann muss ich wohl darauf hoffen, das hier mal jemand reinschaut, der sich damit auskennt

Gruß
Bitte warten ..
Mitglied: 16568
03.05.2013 um 11:03 Uhr
Zitat von certifiedit.net:
Robocopy und rsync habe ich bisher genutzt. Da sind die Archiv Funktionen leider allerdings ungenügend.

WER sagt das?
DU?

Bedaure, aber dann hast Du anscheinend nicht begriffen, was rsync macht.
Das Archiv-Erzeugen macht das eine Script, das Synchronisieren in den Hauptstandort das andere Script.
Und davor macht Bacula/Bareos seine Arbeit, sonst gibt es nix zu synchronisieren.


Ich verstehe ja echt nicht, wie Du einerseits sagst, Du willst ein wartungsarmes System, Dich andererseits aber weigerst, von DEINER geplanten (aber NICHT FUNKTIONIERENDEN) Strategie abzuweichen.


Lonesome Walker
Bitte warten ..
Mitglied: certifiedit.net
03.05.2013 um 11:08 Uhr
Sprich, wenn ich drei Bacula Installationen ist das deiner Meinung wartungsärmer, als wenn ich eine solide Lösung habe, bei der alles zusammenläuft? Wie ist das mit Benachrichtigung wenn irgendwo (k)ein Fehler auftritt?
Bitte warten ..
Mitglied: Dobby
03.05.2013 um 11:32 Uhr
Hallo nochmal,

lange Rede kurzer Sinn.

Wenn ich alles auf einmal machen lasse und ein Fehler entsteht suche ich in einer Anwendung
und wenn ich das in drei Schritten machen lasse sehe ich sofort welche nicht funktioniert hat!

- Lokal ein Backup machen und Backup überprüfen
- An den Hauptstandort übertragen und Übertragung überprüfen

Wenn Bacula die Dateien sichert und ein .tar.gz anlegt aber über das Internet schreibt und es zu einem
Fehler oder "Aussetzer" kommt kann der eben nicht mehr korrigiert werden und das Backup scheitert.

Wenn aber das Backup lokal ausgeführt wird und dann "nur" die Datenübertragung abbricht kann man diese
unter Umständen wieder aufnehmen bzw. fortführen.

Es ist ja nicht so das man ein Backup auf ein lokales Medium macht oder im Lokalen Netzwerk ein Backup
anlegt sondern das es eben über das Internet geschieht und dort eben auch verschiedene Verbindungspunkte bzw. Knoten vorhanden sind die man als Fehlerquelle nun mal schlecht einschätzen kann.

Aber bei einer bestehenden VPN Verbindung würde ich es eben immer vorziehen wollen dass ich erst das
lokale Backup mache und dann die gesicherten und gepackten Daten verschiebe (kopiere) und danach eben
diesen Vorgang prüfe! Alles fertig in drei Schritten.

Gruß
Dobby

Aber manchmal hat man eben so einen fixen Gedanken von dem man nicht lassen kann
Bitte warten ..
Neuester Wissensbeitrag
Windows 10

Powershell 5 BSOD

(8)

Tipp von agowa338 zum Thema Windows 10 ...

Ähnliche Inhalte
Windows 10
Kein Internet: Nach Windows-Update weltweit Computer offline (7)

Link von transocean zum Thema Windows 10 ...

Netzwerkgrundlagen
gelöst PFSense kein Internet Zugang (6)

Frage von Phill93 zum Thema Netzwerkgrundlagen ...

Switche und Hubs
Time Sensitive Network (TSN)

Frage von laster zum Thema Switche und Hubs ...

Heiß diskutierte Inhalte
Microsoft
Ordner mit LW-Buchstaben versehen und benennen (21)

Frage von Xaero1982 zum Thema Microsoft ...

Netzwerkmanagement
gelöst Anregungen, kleiner Betrieb, IT-Umgebung (18)

Frage von Unwichtig zum Thema Netzwerkmanagement ...

Windows Update
Treiberinstallation durch Windows Update läßt sich nicht verhindern (17)

Frage von liquidbase zum Thema Windows Update ...

Windows Tools
gelöst Aussendienst Datensynchronisierung (12)

Frage von lighningcrow zum Thema Windows Tools ...