henere
Goto Top

Geschwindigkeit Datenwiederherstellung

Servus zusammen,

nach einem Festplattencrash bin ich nun dabei 6TB an Daten wieder herzustellen.

Server hat ein Raid0 aus 2x 4TB HDDs und läuft unter 2012R2
NAS ist ein QNAP TS 563 mit 4.2.2er Firmware, 5x 4TB im RAID5
Verbunden sind die beiden mit 10GBe direkt ohne Switch per iSCSI.


Gesichert wurde mit der Windows Serversicherung .

Nun fallen mir beim Restore massive Geschwindigkeitsunterschiede auf.

Er schreibt mit ca 200MB/s die Daten zurück. Soweit so gut. Mehr nimmt das RAID0 nicht auf.
Aber: bei .mp4 Dateien fällt die Geschwindigkeit auf 3-4MB/s zurück ?
Virenscanner ist aus (Dienst nicht gestartet), das kann ich ausschliessen.

Kann mir jemand erklären, warum das bei .mp4 so langsam geht ? Weder sind irgendwelche HDDs ausgelastet, noch die Netzwerkverbindung.

Danke und Grüße, Henere

Content-Key: 331183

Url: https://administrator.de/contentid/331183

Ausgedruckt am: 19.03.2024 um 02:03 Uhr

Mitglied: falscher-sperrstatus
falscher-sperrstatus 05.03.2017 um 04:19:04 Uhr
Goto Top
Sind die mp4 fragmentierte (kleine) Daten? -> Ein Datenstream, der "so" auf der Platte liegt ist natürlich von a-z durchles und leitbar. Bei wild verstreuten Dateien muss die Logik erst "ordnen", bevor Sie sie rausschickt. Aber das ist doch das kleine 1x1?
Mitglied: Henere
Henere 05.03.2017 um 04:21:07 Uhr
Goto Top
Die haben alle so um die 100mb und mehr.
Bei den über 25000 Fotos würde ich es ja verstehen.
Mitglied: Vision2015
Vision2015 05.03.2017 um 09:24:17 Uhr
Goto Top
Guten Morgen,

was schaust du auch beim Restore zu ? face-smile

was denkst du eigentlich, was dein Software Raid im Server kann?
was glaubst du, was dein Qnap kann ?
dein QNAP kommt zwar mit 5x 4TB im RAID5 --->10GB aus der Dose, wobei da fraglich ist- ob deine HDD´s im NAS auch die theoretisch 8000 Mbit/s liefern können! und ich rede nicht vom Burstmodus, sondern lineare transferleistung!
also wenn du nicht grade SSD´s im Qnap dein eigen nennst- wo soll die leistung herkommen.
selbst WD´s Red pro 4TB 7200rpm kommen da schon mal an ihre grenzen...
hast du die vollen 8GB Ram im Qnap ? wenn nicht- bei 2 GB-ist schnell der Cache alle- und im Raid 5
ist schnell die CPU auf last- die 10GBE Nic braucht da auch etwas CPU zeit...

dein Server hat ein Software Raid- bedeutet die CPU ist am rechnen wie blöd.. zuzüglich hat dein Raid keinen Cache- also bleibt der Platten Cache mit sagen wir mal mit 64 bis 128 MB.. der ist schnell voll.. und da kommst du mit .mp4 dateien, die eh schon hoch komprimiert sind... da kommt dein software schreib cache ordentlich in´s schleudern....
besorg dir mal nen richtigen Raid Controller, und 15K Hdd´s oder schreib mal auf SSD zurück!

nur so mal am rande...

Frank
Mitglied: keine-ahnung
keine-ahnung 05.03.2017 um 10:45:15 Uhr
Goto Top
Moin,
Kann mir jemand erklären, warum das bei .mp4 so langsam geht ?
das NAS guggt in Echtzeit mit!

LG, Thomas
Mitglied: GrueneSosseMitSpeck
GrueneSosseMitSpeck 05.03.2017 aktualisiert um 11:06:25 Uhr
Goto Top
1.) die Qnap wird wohl eher 100 -150MB pro Sekunde wegschreiben und hat einen write buffer der erstmal schneller voll ist als es die Platten wegsvhreiben können... ich hab ein verwandtes Modell von Synology und das ist nur mit Raid 1/0 theoretisch in der Lage mit voller IO Geschwindigkeit der Platten zu schreiben. Die älteren Modelle gaben 2 oder 3 x 1 Gbit und können über link aggregation zumindestens mit dem Mac Os X auch solche Datentransferraten liefern. Raid 5 ist in der Geräteklasse immer in Software und bei den schwächlichen CPUs ist nicht mehr drin. Außerdem - trau nie einem Microsoft Dialog der die Dauer eines Kopiervorganges schätzt.

2.) vermutlich ist aber nicht das Software Raid schuld an dem langsamen Restore von mp4 Datein sondern die Tatsache daß sie vor dem Backup komprimiert wurden was bei eigentlich schon hochkomprimierten Formaten nur noch Rechenleistung verschwendet. Das kostet beim Dekomprimieren halt nochmal Zeit. Die Zeiz sollte aber banane sein... ehrlich... oder das Filesystem in der Qnap ist komprimiert was bei Mp4 Dateien ebenso überflüssig ist.
Mitglied: Penny.Cilin
Penny.Cilin 05.03.2017 um 14:32:50 Uhr
Goto Top
Zitat von @Henere:

Servus zusammen,

Hallo
nach einem Festplattencrash bin ich nun dabei 6TB an Daten wieder herzustellen.
OK, kann passieren.

Server hat ein Raid0 aus 2x 4TB HDDs und läuft unter 2012R2
Du weißt schon, daß ein RAID0 ein Stripeset ist? - Also nix mit Redundanz!!!
Warum keine RAID1 oder RAID5?

Er schreibt mit ca 200MB/s die Daten zurück. Soweit so gut. Mehr nimmt das RAID0 nicht auf.
Also machst Du ein Restore von der QNAP zum Server, richtig?

Danke und Grüße, Henere


Gruss Penny
Mitglied: Henere
Henere 05.03.2017 um 15:23:42 Uhr
Goto Top
Mahlzeit.

Klar ist ein Raid0 ein Stripeset. Ist ja auch Absicht. Deshalb ja das QNAP zum Daten sichern.

Das Raid0 im Server ist über den Intel-Onboard-Raider angelegt, somit sollte eigentlich die CPU entlastet sein. Laut Resmon dümpelt der Xeno mit seinen 12 Kernen nur so vor sich hin.

Raid1 oder 5 im Server halte ich im privaten Bereich für überflüssig bei regelmäßigem Backup.

Die Toshibe X300 haben 128MB Cache und sollten bis zu 180MB/s jeweils schaffen, also im Server mit (rechnerischen) 350MB+ je Sekunde schreiben können. Ist die NVM im Server Quelllaufwerk, komme ich auf diese Werte.

Das QNAP hat 16GB Ram und nen (AMD) 4-Kerner und dümpelt laut den Systemwerten auch nur vor sich hin. Selbst die HDD-LEDs sidn nicht konstant am leuchten. Rechnerisch sollten da bis zu 4x180MB Lesen / Sek drin sein.

Komprimierung ist weder per NTFS noch auf dem QNAP aktiviert.

Ich habe den beiden ja extra noch ne 10GBe Verbindung verpasst, also im Server eine Mellanox und im QNAP eine dafür freigegebene Karte (Name weiss ich grad nicht mehr). Kabel geht direkt, also ohne Switch.

Das einzige was mir auffällt ist im Resmon die Warteschlange (blaue Linie) des per iSCSI angebundenen QNAPs. Diese liegt ziemlich weit oben und auf der QNAP sind die IOPs ziemlich klein bei den Filmen wie auch bei den Massen an JPGs.

Naja, die 99% sind erreicht, denke er ist gleich fertig. Der Virenscanner hat auch gleich mal ein paar uralte Keygens entfernt.

Toshiba gibt 2 Jahre Garantie auf die Platten, UPS holt morgen kostenlos ab. Hoffe, dass die Ersatz-HDD dann schnell wieder im Schrank liegt.

Schönen Sonntag euch allen.

Henere
Mitglied: scout71
scout71 06.03.2017 um 09:05:36 Uhr
Goto Top
Hallo Henere,

ein ähnliches Thema hatte ich letztens auch.

Server Windows 2012 R2, NAS per iSCSI ohne Switch verbunden - langsame Geschwindigkeit.

Eine Ursache war bei dem DELL Server an der Netzwerkschittstelle die Einstellung Flow Control Auto Negoation. Umgestellt auf Rx & Tx Enabled und schon eine bessere Geschwindigkeit.

Eine andere Ursache war der Kasperksy Virenscanner und die Scannung der Dateien sowie die Kaspersky Firewall.

Nette Grüße
Scout71
Mitglied: Henere
Henere 06.03.2017 um 16:31:43 Uhr
Goto Top
Servus Scout,

Ich hab ne 10GB-Direktverbindung. Im Normalfall laufen da bis zu 400 und mehr MB/s beim sichern durch die Leitung und auch der Restore erfolgte ja in überwiegend maximaler Geschwindigkeit. Nur eben bei MP4 und später auch bei JPG (da waren es dann 25000 "kleine" Dateien) wurde es extrem langsamer

Ähem, ne Firewall die Dateien scannt ???

Grüße
Mitglied: scout71
scout71 07.03.2017 um 12:29:20 Uhr
Goto Top
Hallo Henere,

nee der Kaspersky Virenclient enthält eine Firewall.

Heute konnte ich mit der Einstellung EEE Control Polices meine Netzwerkgeschwindigkeit zum NAS erhöhen können.
Die Std. Einstellung war opti. Power und Perf. eine Umstellung auf max. Performance bringt mehr Datendurchsatz.

Diese Geschwindigkeitsprobleme hatte ich mit den Tarox Server unter Windows 2008 R2 nicht.

Nette Grüße
Scout71