6
Regelmäßiger Download größerer Datenmengen mit Verbindungsabbrüchen
Hallo Zusammen,
wir betreiben mehrere Hostingserver für eine Websoftware. Die Backups der zugrunde liegenden Datenbanken bieten wir unseren Kunden optional per FTP zum Download an. Die Backups können dabei eine Größe von 50 GB und mehr erreichen. Der Download braucht in diesem Fall mehrere Stunden und bricht gerne auch mal zwischendurch ab.
Der Download soll beim Kunden zeit-gesteuert ausgelöst werden. Viel problematischer ist aber, das der Download nach einem Abbruch der Verbindung automatisch wieder aufgenommen werden muss - beispielsweise auch, wenn beim Kunden die Zwangstrennung seines DSL-Anschlusses Verursacher des Abbruchs war.
Eine Übertragung in gepackten Teilarchiven würde zu viel Zeit verbrauchen und die Größe der Datenbanken aufgrund der Inhalte nur unwesentlich reduzieren.
Da die Dateinamen täglich wechseln, müsste außerdem ein ganzer Ordner bewegt werden, ohne die Dateien direkt über Ihren Namen anzusprechen.
Gibt es hierfür Lösungsansätze?
Eine Übertragung in gepackten Teilarchiven würde zu viel Zeit verbrauchen und die Größe der Datenbanken aufgrund der Inhalte nur unwesentlich reduzieren.
Da die Dateinamen täglich wechseln, müsste außerdem ein ganzer Ordner bewegt werden, ohne die Dateien direkt über Ihren Namen anzusprechen.
Gibt es hierfür Lösungsansätze?
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 192654
Url: https://administrator.de/contentid/192654
Printed on: April 19, 2024 at 17:04 o'clock
6 Comments
Latest comment
Eine Übertragung in gepackten Teilarchiven würde zu viel Zeit verbrauchen und die Größe der Datenbanken
aufgrund der Inhalte nur unwesentlich reduzieren.
Moin
das ist für mich nicht verständlich - wenn Du eine / mehrere Datei(en) mit einem Packprogramm ohne Komprimierung splittest, ist das in ner Minute erledigt - und alles ist genausogroß (bis auf paar Bytes)
Ggf. Sollte auch Euer FTP-Server autoresume können, dann wird bei dem Client auch nur noch der Rest übertragen.
Gruß
24
Moin
50GB am Stück? Üebr was für eine Leitung? Womöglich hängt der Kunde per DSL/VDSL mit wechselnder IP an Netz? Dann braucht er nicht mehrere Stunden, sondern mehrere Tage, selbst wenn er keine automatischen disconnects hat.
mein erster Impuls war es zu sagen:
Verschickt USB-Sticks, die 64GB udn mehr kosten nicht mehr die Welt. Oder gleich eine SSD. Und per Post sind die Daten auf jeden fall schneller angekommen.
Also:
Butter bei die Fische, damit wir unsere Kristallkugeln nicht ausleiern müssen.
lks
PS: Von Downloadmanagern habt Ihr auch noch nichts gehört? Notfall könntet Ihr auch einfach einen privaten torrentserver aufsetzen.
50GB am Stück? Üebr was für eine Leitung? Womöglich hängt der Kunde per DSL/VDSL mit wechselnder IP an Netz? Dann braucht er nicht mehrere Stunden, sondern mehrere Tage, selbst wenn er keine automatischen disconnects hat.
mein erster Impuls war es zu sagen:
Verschickt USB-Sticks, die 64GB udn mehr kosten nicht mehr die Welt. Oder gleich eine SSD. Und per Post sind die Daten auf jeden fall schneller angekommen.
Also:
Butter bei die Fische, damit wir unsere Kristallkugeln nicht ausleiern müssen.
lks
PS: Von Downloadmanagern habt Ihr auch noch nichts gehört? Notfall könntet Ihr auch einfach einen privaten torrentserver aufsetzen.
Hallo Zusammen,
erstmal vielen Dank für die Antworten.
Der Download von 50 GB dauern beim Kunden z.Z. etwa 10 Stunden. Dummerweise bricht der Download meist vorher ab und lässt sich nicht fortsetzen obwohl der FTP-Server (Filezilla) und auch der Client (NCFTPGet) Auto-Resume unterstützen (wir sind dem Problem dabei bisher nicht auf die Spur gekommen).
Der Stick war auch schon im Gespräch, aber der Kunde, den es aktuell betrifft, möchte dieses Backup täglich haben. Hintergrund ist: Webserver fällt über Nacht aus, Backup wird lokal eingespielt und es kann umgehend (mit der Datenbasis von vor einem Tag) weitergearbeitet werden.
Downloadmanager muss meist händisch bedient werden.
Torrent fällt leider auch aus, da das Backup aus mehreren Dateien mit täglich wechselnder Benennung besteht. Ein Torrent kann aber nicht einen ganzen Ordner bereitstellen, sondern nur fest benannte Dateien.
Andere Idee: Gibt es schon Erfahrungen zu rSync o.ä. - Google hat da was erwähnt, aber wir haben hier noch keine Erfahrungen.
erstmal vielen Dank für die Antworten.
Der Download von 50 GB dauern beim Kunden z.Z. etwa 10 Stunden. Dummerweise bricht der Download meist vorher ab und lässt sich nicht fortsetzen obwohl der FTP-Server (Filezilla) und auch der Client (NCFTPGet) Auto-Resume unterstützen (wir sind dem Problem dabei bisher nicht auf die Spur gekommen).
Der Stick war auch schon im Gespräch, aber der Kunde, den es aktuell betrifft, möchte dieses Backup täglich haben. Hintergrund ist: Webserver fällt über Nacht aus, Backup wird lokal eingespielt und es kann umgehend (mit der Datenbasis von vor einem Tag) weitergearbeitet werden.
Downloadmanager muss meist händisch bedient werden.
Torrent fällt leider auch aus, da das Backup aus mehreren Dateien mit täglich wechselnder Benennung besteht. Ein Torrent kann aber nicht einen ganzen Ordner bereitstellen, sondern nur fest benannte Dateien.
Andere Idee: Gibt es schon Erfahrungen zu rSync o.ä. - Google hat da was erwähnt, aber wir haben hier noch keine Erfahrungen.
was stört an dem Splitting, was ich nicht schon erwähnt habe?
24
24
Einen "wget -c -r" sollte man ohne Probleme in ein Skript packen können.
Torrent fällt leider auch aus, da das Backup aus mehreren Dateien mit täglich wechselnder Benennung besteht. Ein Torrent
kann aber nicht einen ganzen Ordner bereitstellen, sondern nur fest benannte Dateien.
kann aber nicht einen ganzen Ordner bereitstellen, sondern nur fest benannte Dateien.
Na und? Dann kommt halt täglich ein torrent dazu und alte werden entfernt. Mit ein bischen Shell-Skripting ist das doch kein Hexenwerk.
Andere Idee: Gibt es schon Erfahrungen zu rSync o.ä. - Google hat da was erwähnt, aber wir haben hier noch keine
Erfahrungen.
Erfahrungen.
rsync ist das Standard-Programm, mit dem ich Daten snychronisiere. Habe ich bisher mit 50GB-Klöätzen noch nicht probiert aber dvd-Images (bis 9GB) packt das dingens wunderbar.
Abgesehen davon:
Mit split/join kann man wunderbar skriptgeseteuert die Daten kleinhacken und wieder zusammenfügen. dDazu noch ein rsync, das dafür sorgt, daß alles korrekt synchronisiert wird und noch md5sum/sha1sum, um die Korrektheit der Daten zu prüfen. Das sollte innerhalb von einem halben Tag zusammengeschrieben und getestet sein.
lks
Hallo Zusammen,
@24: Ich hab's nicht übersehen... nur beim Antworten vergessen.
Du hast natürlich recht, dass man die Datei einfach splitten könnte. Die Lösung bringt mich nur wegen den 50 weiteren Gig Plattenplatz in Verlegenheit. Damit das Backup jederzeit zur Verfügung steht und auch ein nachträglicher Abgleich noch möglich ist, müssten wir sowohl die gesplittete Version als auch die komplette Version an beiden Servern vorhalten.
Sollte die DB-Größe des Kunden jetzt mal an die 100 GB kommen, steht uns auf einer der beiden Seiten nicht mehr genug freier Speicher zur Verfügung.
Dazu kommt noch, dass der Kunde zwar einen täglichen lokalen Abzug seiner Daten wünscht, auf der anderen Seite aber geografisch bedingt nicht in der Lage ist, seinen Anschluss auf die benötigte Downloadrate zu bringen.
Ich denke daher, die rSync-Variante ist der beste Ausweg. Damit würden täglich nur noch ein paar Gig bewegt werden.
@24: Ich hab's nicht übersehen... nur beim Antworten vergessen.
Du hast natürlich recht, dass man die Datei einfach splitten könnte. Die Lösung bringt mich nur wegen den 50 weiteren Gig Plattenplatz in Verlegenheit. Damit das Backup jederzeit zur Verfügung steht und auch ein nachträglicher Abgleich noch möglich ist, müssten wir sowohl die gesplittete Version als auch die komplette Version an beiden Servern vorhalten.
Sollte die DB-Größe des Kunden jetzt mal an die 100 GB kommen, steht uns auf einer der beiden Seiten nicht mehr genug freier Speicher zur Verfügung.
Dazu kommt noch, dass der Kunde zwar einen täglichen lokalen Abzug seiner Daten wünscht, auf der anderen Seite aber geografisch bedingt nicht in der Lage ist, seinen Anschluss auf die benötigte Downloadrate zu bringen.
Ich denke daher, die rSync-Variante ist der beste Ausweg. Damit würden täglich nur noch ein paar Gig bewegt werden.
