beowulf1980
Goto Top

Neue Backupstrategie wegen zu hohem Dantenvolumen

Hallo,

ich bin auf der Suche nach einer neuen Backupstrategie für unsere Firma da unser Datenvolumen einfach im Moment zu hoch ist.
Ich erklär mal kurz die Situation.

Wir haben in der Firma 5 ABteilungsserver. Die Datenvolumen die zu sichern sind varrieren auf den Servern von 80GB bis 650GB
Im Moment werden die Server am Wochenende mit NTBackup auf ein RAID6 System gesichert und einmal im Monat auf Band.

Das komplette Datenvolumen beträgt zur Zeit ca 1,2TB.
Mein Problem im Moment ist das bei diesem Datenaufkommen die Sicherung zu lange dauert. Bei dem großen Server mit 650GB starte ich Freitag abend und die Sicherung ist irgendwann am darauffolgenden Mittwoch fertig, da ja auch die anderen Backups noch parallel laufen und das Netzwerk damit auslasten.

Und natürlich gibt mir dann das NTBackup nen Fehler aus am Ende der Sicherung weil er bei der Überprüfuzng dann feststellt das Daten zwischenzeitlich geändert worden sind.

Für die Bandsicherung benutzen wir im Moment BackupExec und vielleicht kann mir ja einer von euch bestätigen das damit die B2D Sicherung auch schneller wäre als bei NTBackup dann würde ich mir auch die Agents zulegen die ich dafür brauche.

Aber vielleicht hat ja auch jemand von euch ne ganz andere Idee wie man das besser/schneller machen kann.

Wir können ja nicht die einzige Firma sein die so große Datenvolumen hat.

Ich bin für jeden Tip dankbar.

Gruß
Beowulf

Content-Key: 92676

Url: https://administrator.de/contentid/92676

Printed on: April 25, 2024 at 05:04 o'clock

Member: Nailara
Nailara Jul 22, 2008 at 21:50:05 (UTC)
Goto Top
Hi,

1.2 TB mit NTBackup von Freitag Abend bis Mittwoch Mittag - das ist heftig und da würde ich sagen, dass da was klemmt - zum Vergleich: eine SAN-Sicherung mit NetBackup bei ungefähr 3 TB läuft bei uns von Freitag Abend bis Montag Mittag - das ist aber eine Tapesicherung mit zwei Laufwerken - eine Sicherung ins Filesystem dürfte deutlich schneller sein...

Bei der Software sollte was deutlich besseres eingesetzt werden als NTBackup. Ja - es funktioniert, doch es ist mit Sicherheit nicht optimiert für Netzwerkzugriff und so. Backup Exec ist eine gute Idee, Retrospekt kann ich noch empfehlen, natürlich Legato Networker und Netbackup, doch die kosten ein Vermögen...

Anschauen solltest Du Dir den Datendurchsatz der Datenquellen und prüfen, ob da wirklich das Maximum herausgeholt wurde. Mitunter lassen sich Lesepuffer und sowas einstellen und dann sollte das alles deutlich schneller gehen - die SAN-Sicherung mit Netbackup macht ungefähr 12 MB/s optimiert und etwa 2.3 MB/s nicht optimiert (mal zum Vergleich). Die Netzwerkanbindungen wären auch noch mal zu überprüfen - vielleicht hilft es, das Zielsystem mit mehreren GBit/s anzubinden.

Insgesamt würde ich dringend empfehlen, hier etwas mehr Geld in die Hand zu nehmen und das auf solide Füße zu stellen - entweder überlegst Du selbst und mahnst noch etwas Budget an oder Du läßt das durch ein Systemhaus berechnen und kannst dann mit konkreten Angebotszahlen Geld besorgen gehen ....

Ich bin sicher, dass das richtig Geld kosten wird - je nach Ansatz zwischen 50000 und 100000€ - doch es gibt eine Stelle, wo nicht gespart werden darf und das ist die Datensicherung...

Grüße Mathias
Member: datasearch
datasearch Jul 22, 2008 at 22:07:30 (UTC)
Goto Top
Hallo Beowulf,

je nachdem, welche BE Version du verwendest, würde das Sichern über Agent auf jeden Fall Vorteile bringen. Aber auf jeden Fall musst du die Daten irgendwie über das Netzwerk bekommen. Wenn du B2D2T fahren möchtest, würde ich einmal im Monat eine Vollsicherung der Server auf Disk, Werktags eine inkrementelle Sicherung der Server auf Disk und einmal im Monat eine Sicherung des Backup-Storage auf Band durchführen. Kürzere Intervalle für Bandsicherungen bringen nur etwas, wenn die Bänder auch wirklich 2mail im Monat außer Haus oder in einem Brandschutz-Safe ausgelagert werden.

Hast du mal über ein schnelleres Netzwerk oder eine bessere Positionierung des Backup-Servers überlegt? Eventuell könntest du mit einem 2-Port GBit NIC im Teaming (Channeling, Ling-Aggregation) Modus mehrere Sicherungen paralell ausführen. Normalerweise kann man aber problemlos 5 Server mit je 1 TB Datenvolumen an einem Wochenende über eine 1GBit/s Verbindung sichern.

natürlich kann der Engpass auch das Plattensubsystem deines Sicherungsservers sein. Hast du dort mal gemessen?
Beispielrechnung:
1GBit/5=200MBit/s pro Server
200MBit / = 25 MBytes pro Sekunde
Abzüglich 15% für schlechte Plattenleistung, Fragmentierung, IP-Overhead usw.
ca. 20MBytes/Sekunde
Davon nehmen wir zwei drittel, da du aus mehreren Gründen nie die volle Datenrate erreichst.
ca. 13MBytes/Sekunde
650GB = ca. 665600 MBytes
Bei 13MBytes/Sekunde benötigst du ca. 15 Stunden für eine Vollsicherung. Im schlechtesten Fall sollte es nie länger als die doppelte Zeit dauern (für alle Server). Alles über 30 Stunden (1 1/2 Tage) weist auf Probleme oder massive Engpässe im Netzwerk hin.

Bei 5 Sicherungsjob´s hast du so ca. 65MBytes pro Sekunde auf Platte zu schreiben. Das sollte dein Server mindestens hergeben. Die Quellserver müssen mindestens 13MBytes/Sekunde lesen können.
Member: future.former
future.former Jul 22, 2008 at 22:21:44 (UTC)
Goto Top
mal ganz am rande:

was spricht gegen eine konsolidierung der 5 server zu einem einzigen ?


future.former
Member: datasearch
datasearch Jul 22, 2008 at 22:26:17 (UTC)
Goto Top
Warum das Backbone mit traffic anderer Abteilungen belasten? Außerdem müssen die Daten trotzdem irgendwie über das Netzwerk. Zusätzlich verliert er die Möglichkeit paralell zu sichern.
Member: beowulf1980
beowulf1980 Jul 23, 2008 at 06:20:41 (UTC)
Goto Top
Hallo,

vielen Dank für eure Antworten. Mit den Zahlen kann ich mich ja erst mal auf die Suche machen. Ich nehme an das es wohl am Netzwerk liegt. Wir haben zwar Cat6-Verkabelung im Haus aber noch teilweise 100 MBit Switche. Ich bin da gerade am austauschen. Sind nur noch 3 Stück dann is komplett GBit.

Also an dem Plattensystem sollte es nicht liegen. In allen Servern sowie im Backup-Server sind es 3Ware.Controller fürs RAID mit SATA-II Platten. Das sollte so passen.

Nochmals danke an alle.

Gruß
Beowulf
Member: sysad
sysad Jul 23, 2008 at 07:34:03 (UTC)
Goto Top
Warum machst Du nicht einfach ein paar eSATA Platten dran mit ein paar TB statt der Bänder? Realistische Geschwindigkeit 50-100GB/h

Oder eine Gigabit NAS.

Kostet Dich mit einer vernünftigen zeitgesteuerten Software (ich nehme immer Acronis) sehr überschaubar. Ich hatte 20 Jahre mit Bändern zu tun und bin froh dass ich keine mehr einsetzen muss.

Und Acronis läuft meist auch während des Betriebs ohne die Performance in die Knie zu zwingen.
Member: beowulf1980
beowulf1980 Jul 23, 2008 at 08:40:22 (UTC)
Goto Top
Die Bandsicherung ist in dem Fall nicht das Problem. Weil die kann ja ruhig 2 Tage laufen. Und ich meinem Chef verklickern kann über 1000,- € für Festplatten auszugeben sei auch mal so dahingestellt.
Member: Nailara
Nailara Jul 23, 2008 at 08:43:58 (UTC)
Goto Top
Hi,

ja Du kannst - Du brauchst nur ein paar Argumente:

- Verpflichtung nach HGB zur Sicherung von Daten
- Verpflichtung durch Versicherung zur Sicherung von Daten
- Daten sind i.d.R. unternehmenskritisch

Da darfst Du dann auch über Los gehen und 10000.-€ einstreichen, damit Dein Chef nicht auf dem Feld mit dem Gitter landet...

Grüße
Member: paulife
paulife Jul 23, 2008 at 09:07:59 (UTC)
Goto Top
Hallo,

Bei uns im Betrieb verwenden wir StorageCraft, und das funktioniert zum Leidwesen mancher Angestellter, unglaublich schnell, erstens werden die Backups/ Images aus laufendem Betrieb gemacht - kommt es zu einem Crash steht in etwas über zwei Stunden zumindest ein Server wieder mit allen Daten uns Applikationen- kein Scherz -, hardwareunabhängig.

Das bringt kräftige Kostenersparnis gegenüber anderen Produkten, wo die Ausfallzeiten beträchtlich sind alleine durch Arbeitsverlust oder auch durch die Technikerkosten.

Am besten verwendet man eine Kombination aus der Serveredition (Images können im Viertelstundentakt gezogen werden -kann man alles einstellen) und der IT Version- die vorallem für Server verwendet wird, wo es ausreicht wenn man einmal pro Woche ein Image zieht.

Aber melde dich am Besten bei StorageCraft, die kennen sich da besser aus als ich.
http://www.storagecraft.ch
Member: datasearch
datasearch Jul 23, 2008 at 17:27:10 (UTC)
Goto Top
@sysad

Naja, wenn schon HDD's dann 2.5". Die sind nicht so Empfindlich. Allerdings sind wir zb. von Platten wieder zurück zu Tapes gewechselt. ist einfach handlicher und dank Komprimierung bekommt man auch mal 1.6TB Office-Files auf ein 800/1600GB LTO4 Tape. Wir haben so ca. 5TB Sicherungsvolumen/Monat. Ich Cache auf einem billigem iSCSI Storage und sichere von dort auf Band. Theoretisch könnte man auch das Storage außer Haus bringen, aber wer schleppt gern 15 500GB Platten (oder 8 1TB) ? Außerdem bräuchten wir mind. 12 Sätze = 180 HDD's. Bei 100€/HDD gleich mal 18000,-€. Ich brauche ca. 6 Bänder pro Monat und möchte 1 Jahr aufbewahren (ohne Archivierung). Also 12*6 Bänder zu je 80€ = 5760,-€. Und 5 LTO Tapes kann man "schnell mal jemandem mitgeben".

[EDIT] Tolle neue Web2.0 Welt --- keiner weiß wo seine Kommentare landen face-smile[/EDIT]
Member: beowulf1980
beowulf1980 Feb 24, 2009 at 22:44:35 (UTC)
Goto Top
Ich möchte den Beitrag hier nochmal aufrollen. Ich hab jetzt zwischenzeitlich alle Komponenten ausgetauscht sodass, zumindest bei den Servern, ein Gigabit-Netzwerk dran hängt. Beim testen der Verbindung zwischen den Servern kommen auch ziemlich gute Werte raus, so etwas zwischen 30 und 70 MB pro Sekunde. Ist zwar immer recht schwankend aber das hat andere Gründe hier im Haus.

Leider hat sich da nicht sehr viel geändert und ich verstehs einfach nicht. Es laufen 5 Backups gleichzeitig. Jeder so mit 1-2 MB pro Sekunde. Alle Server haben RAID 5 oder 6 mit nem guten 3ware Controller.

Wenn man sich den Backup-Server während dem Backup anschaut dann zeigt er bei der Netzauslastung gerade mal 5% an, das kanns ja irgendwie nicht sein. Ist die Schreibgeschwindigkeit bei nem RAID5 wirklich so langsam ? Das kann ich mir irgendwie nicht vorstellen. Kann man an dem Controller noch was einstellen damit er schneller schreiben kann ?

Kennt einer von euch nen gutes Tool mit dem man die Schreibgeschwindigkeit testen kann ? Ich finde irgendwie nur Tools für die Lesegeschwindigkeit.

Oder liegt es dann doch letztendlich einfach am NTBackup ?

Hilfe!!!!

Gruß
Beowulf1980
Member: future.former
future.former Feb 25, 2009 at 02:12:38 (UTC)
Goto Top
30-70 MB Übertragungsrate zwischen den einzelnen Servern ist bei einem 1000 Mbit-Netz ein wenig langsam, da sollten eigentlich 100 MB pro Sekunde (P2P) machbar sein. Wie sieht die Netztopologie aus, welche Switches hängen zwischen den Servern etc. ?

Ich habe aus Deinem letzten Beitrag noch nicht so ganz verstanden wie eure Backup-Strategie tatsächlich aussieht. Du schreibst, dass 5 Backups gleichzeitig laufen - hast Du etwa 5 einzelne Instanzen von NTBackup auf dem Backup-Server am Start (DAS wäre die denkbar schlechteste Idee, ein Backup zu machen, da dabei eine Menge Latenzen entstehen...) oder fährt jeder Server sein eigenes NTBackup und schiebt die Daten letztlich einfach nur auf den Backup-Server ? Letztere Lösung ist in Deinem Fall die Idealkonfiguration, da jeder Server die Verwaltung selbst übernimmt und der Backup-Server sich ganz auf das Schreiben der Daten konzentrieren kann.
Eine andere Lösung wäre, den Backup-Server mit einem einzigen Backup-Auftrag zu betreuen und dann die Daten von den einzelnen Abteilungsservern anzufordern.

1-2 MB pro Sekunde Schreibleistung sind - egal in welcher Konfiguration auch immer, praktisch kein Datendurchsatz. Wie hast Du diese Schreibleistung gemessen ? Und hast Du eigentlich schon mal den Datendurchsatz gemessen wenn Du die Daten über den Explorer auf den Backup-Server schiebst ? Wie sieht es aus mit der CPU- und Speicherauslatung auf den einzelnen Maschinen während des Backups ?

Selbst billige RAID5-Controller schaffen locker 100 MB Schreibleistung, je nach Plattenkonfiguration mehr. Die effektive Lese- und Schreibleistung Deiner Arrays kannst Du z.B. gut messen mit:

1.) ATTO Diskbenchmark
2.) HDTach
3.) HDTune Pro
4.) Chrystal Disk Mark

Ich würde bei so geringen Schreibleistungen auf dem Backup-Server aber erst mal die Netzwerkanbindung überprüfen. Gigabit ist nicht gleich Gigabit. Es kommt auch auf die Konfiguration der Netzwerk-Hardware an. Stichwörter sind hierzu z.B. "QoS" (Quality Of Service) und "Jumbo Frames". Wenn da einer der beteiligten Knotenpunkte falsch eingestellt ist kann die gesamte Netzwerkleistung einbrechen.


future.former
Member: beowulf1980
beowulf1980 Feb 25, 2009 at 08:49:19 (UTC)
Goto Top
Ich muss leider 5 Instanzen von NT-Backup laufen lassen. Die Server die gesichert werden sind W2k8 Server. Und die haben kein NT-Backup mehr. Das neue Backup von W2k8 kann nur Komplettimages von Partitionen anlegen.

Und da die Aussage von meinem Chef ist wir haben momentan kein Geld um neue Backup-Software zu kaufen komme ich da halt nicht drum rum.

Dann muss ich halt mal schauen ob ich an den Switches was einstellen kann was mir da was bringt.

Aber danke erstmal für deine Ratschläge, hat mir sehr geholfen.

Gruß
Beowulf1980