Top-Themen

AppleEntwicklungHardwareInternetLinuxMicrosoftMultimediaNetzwerkeOff TopicSicherheitSonstige SystemeVirtualisierungWeiterbildungZusammenarbeit

Aktuelle Themen

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

Regelmäßiger Download größerer Datenmengen mit Verbindungsabbrüchen

Frage Internet Hosting & Housing

Mitglied: boerner-it.de

boerner-it.de (Level 1) - Jetzt verbinden

12.10.2012 um 08:55 Uhr, 2332 Aufrufe, 6 Kommentare

Hallo Zusammen,

wir betreiben mehrere Hostingserver für eine Websoftware. Die Backups der zugrunde liegenden Datenbanken bieten wir unseren Kunden optional per FTP zum Download an. Die Backups können dabei eine Größe von 50 GB und mehr erreichen. Der Download braucht in diesem Fall mehrere Stunden und bricht gerne auch mal zwischendurch ab.

Der Download soll beim Kunden zeit-gesteuert ausgelöst werden. Viel problematischer ist aber, das der Download nach einem Abbruch der Verbindung automatisch wieder aufgenommen werden muss - beispielsweise auch, wenn beim Kunden die Zwangstrennung seines DSL-Anschlusses Verursacher des Abbruchs war.

Eine Übertragung in gepackten Teilarchiven würde zu viel Zeit verbrauchen und die Größe der Datenbanken aufgrund der Inhalte nur unwesentlich reduzieren.

Da die Dateinamen täglich wechseln, müsste außerdem ein ganzer Ordner bewegt werden, ohne die Dateien direkt über Ihren Namen anzusprechen.

Gibt es hierfür Lösungsansätze?
Mitglied: 2hard4you
12.10.2012 um 09:02 Uhr
Zitat von boerner-it.de:


Eine Übertragung in gepackten Teilarchiven würde zu viel Zeit verbrauchen und die Größe der Datenbanken
aufgrund der Inhalte nur unwesentlich reduzieren.


Moin

das ist für mich nicht verständlich - wenn Du eine / mehrere Datei(en) mit einem Packprogramm ohne Komprimierung splittest, ist das in ner Minute erledigt - und alles ist genausogroß (bis auf paar Bytes)

Ggf. Sollte auch Euer FTP-Server autoresume können, dann wird bei dem Client auch nur noch der Rest übertragen.

Gruß

24
Bitte warten ..
Mitglied: Lochkartenstanzer
12.10.2012, aktualisiert um 10:33 Uhr
Moin

50GB am Stück? Üebr was für eine Leitung? Womöglich hängt der Kunde per DSL/VDSL mit wechselnder IP an Netz? Dann braucht er nicht mehrere Stunden, sondern mehrere Tage, selbst wenn er keine automatischen disconnects hat.

mein erster Impuls war es zu sagen:

Verschickt USB-Sticks, die 64GB udn mehr kosten nicht mehr die Welt. Oder gleich eine SSD. Und per Post sind die Daten auf jeden fall schneller angekommen.

Also:

Butter bei die Fische, damit wir unsere Kristallkugeln nicht ausleiern müssen.

lks

PS: Von Downloadmanagern habt Ihr auch noch nichts gehört? Notfall könntet Ihr auch einfach einen privaten torrentserver aufsetzen.
Bitte warten ..
Mitglied: boerner-it.de
12.10.2012 um 12:35 Uhr
Hallo Zusammen,

erstmal vielen Dank für die Antworten.

Der Download von 50 GB dauern beim Kunden z.Z. etwa 10 Stunden. Dummerweise bricht der Download meist vorher ab und lässt sich nicht fortsetzen obwohl der FTP-Server (Filezilla) und auch der Client (NCFTPGet) Auto-Resume unterstützen (wir sind dem Problem dabei bisher nicht auf die Spur gekommen).

Der Stick war auch schon im Gespräch, aber der Kunde, den es aktuell betrifft, möchte dieses Backup täglich haben. Hintergrund ist: Webserver fällt über Nacht aus, Backup wird lokal eingespielt und es kann umgehend (mit der Datenbasis von vor einem Tag) weitergearbeitet werden.

Downloadmanager muss meist händisch bedient werden.

Torrent fällt leider auch aus, da das Backup aus mehreren Dateien mit täglich wechselnder Benennung besteht. Ein Torrent kann aber nicht einen ganzen Ordner bereitstellen, sondern nur fest benannte Dateien.

Andere Idee: Gibt es schon Erfahrungen zu rSync o.ä. - Google hat da was erwähnt, aber wir haben hier noch keine Erfahrungen.
Bitte warten ..
Mitglied: 2hard4you
12.10.2012 um 12:42 Uhr
was stört an dem Splitting, was ich nicht schon erwähnt habe?

24
Bitte warten ..
Mitglied: Lochkartenstanzer
12.10.2012, aktualisiert um 12:55 Uhr
Zitat von boerner-it.de:
Downloadmanager muss meist händisch bedient werden.

Einen "wget -c -r" sollte man ohne Probleme in ein Skript packen können.

Torrent fällt leider auch aus, da das Backup aus mehreren Dateien mit täglich wechselnder Benennung besteht. Ein Torrent
kann aber nicht einen ganzen Ordner bereitstellen, sondern nur fest benannte Dateien.

Na und? Dann kommt halt täglich ein torrent dazu und alte werden entfernt. Mit ein bischen Shell-Skripting ist das doch kein Hexenwerk.

Andere Idee: Gibt es schon Erfahrungen zu rSync o.ä. - Google hat da was erwähnt, aber wir haben hier noch keine
Erfahrungen.

rsync ist das Standard-Programm, mit dem ich Daten snychronisiere. Habe ich bisher mit 50GB-Klöätzen noch nicht probiert aber dvd-Images (bis 9GB) packt das dingens wunderbar.

Abgesehen davon:

Mit split/join kann man wunderbar skriptgeseteuert die Daten kleinhacken und wieder zusammenfügen. dDazu noch ein rsync, das dafür sorgt, daß alles korrekt synchronisiert wird und noch md5sum/sha1sum, um die Korrektheit der Daten zu prüfen. Das sollte innerhalb von einem halben Tag zusammengeschrieben und getestet sein.

lks
Bitte warten ..
Mitglied: boerner-it.de
15.10.2012 um 08:57 Uhr
Hallo Zusammen,

@24: Ich hab's nicht übersehen... nur beim Antworten vergessen.

Du hast natürlich recht, dass man die Datei einfach splitten könnte. Die Lösung bringt mich nur wegen den 50 weiteren Gig Plattenplatz in Verlegenheit. Damit das Backup jederzeit zur Verfügung steht und auch ein nachträglicher Abgleich noch möglich ist, müssten wir sowohl die gesplittete Version als auch die komplette Version an beiden Servern vorhalten.

Sollte die DB-Größe des Kunden jetzt mal an die 100 GB kommen, steht uns auf einer der beiden Seiten nicht mehr genug freier Speicher zur Verfügung.

Dazu kommt noch, dass der Kunde zwar einen täglichen lokalen Abzug seiner Daten wünscht, auf der anderen Seite aber geografisch bedingt nicht in der Lage ist, seinen Anschluss auf die benötigte Downloadrate zu bringen.

Ich denke daher, die rSync-Variante ist der beste Ausweg. Damit würden täglich nur noch ein paar Gig bewegt werden.
Bitte warten ..
Neuester Wissensbeitrag
Humor (lol)

Linkliste für Adventskalender

(3)

Information von nikoatit zum Thema Humor (lol) ...

Ähnliche Inhalte
Batch & Shell
CSV Stapelverarbeitung mit Filterfunktion für große Datenmengen (4)

Frage von Rippchen zum Thema Batch & Shell ...

iOS
gelöst Suche iOS 9.3.5 Download (2)

Frage von mexx zum Thema iOS ...

Windows 10
Download kumulatives Update KB3194496 für manuelle Installation

Link von runasservice zum Thema Windows 10 ...

Heiß diskutierte Inhalte
Router & Routing
gelöst Ipv4 mieten (22)

Frage von homermg zum Thema Router & Routing ...

Windows Server
DHCP Server switchen (20)

Frage von M.Marz zum Thema Windows Server ...

Exchange Server
gelöst Exchange 2010 Berechtigungen wiederherstellen (20)

Frage von semperf1delis zum Thema Exchange Server ...

Hardware
gelöst Negative Erfahrungen LAN-Karten (19)

Frage von MegaGiga zum Thema Hardware ...