9
2,7 Millionen Dateien in kürstester Zeit kopieren
Hallo liebe Kollegen,
ich bin gerade etwas am verzweifeln. Ich muss ca. 2,7 Millionen Dateien, die in 7 Verzeichnissen verteilt sind, in ein einziges Verzeichnis so schnell wie möglich Kopieren. (=Die Verzeichnisse sollen zusammen geführt werden)
Wenn man dies ganz normal mit Windows-Explorer versucht, fängt der Kopiervorgang mit ca. 200 Dateien in der Sekunden an und sinkt mit der zunehmenden Anzahl an schon kopierten Dateien so lange ab, bis in der Sekunden nur noch 0,5 Dateien übertragen werden.
Durch den Einsatz eines Tools namens "FastCopy" habe ich versucht dieses Problem zu lösen und musste gestern festgestellt, dass das Programm auch nur noch 1 Datei in der Sekunde überträgt.
Hat jemand vielleicht eine Lösung wie ich die Dateien schnell kopieren kann?
Vielen Dank und freundliche Grüße
MC64de
ich bin gerade etwas am verzweifeln. Ich muss ca. 2,7 Millionen Dateien, die in 7 Verzeichnissen verteilt sind, in ein einziges Verzeichnis so schnell wie möglich Kopieren. (=Die Verzeichnisse sollen zusammen geführt werden)
Wenn man dies ganz normal mit Windows-Explorer versucht, fängt der Kopiervorgang mit ca. 200 Dateien in der Sekunden an und sinkt mit der zunehmenden Anzahl an schon kopierten Dateien so lange ab, bis in der Sekunden nur noch 0,5 Dateien übertragen werden.
Durch den Einsatz eines Tools namens "FastCopy" habe ich versucht dieses Problem zu lösen und musste gestern festgestellt, dass das Programm auch nur noch 1 Datei in der Sekunde überträgt.
Hat jemand vielleicht eine Lösung wie ich die Dateien schnell kopieren kann?
Vielen Dank und freundliche Grüße
MC64de
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 137964
Url: https://administrator.de/contentid/137964
Printed on: April 19, 2024 at 01:04 o'clock
9 Comments
Latest comment
Hi,
von wo nach wo möchtest Du kopieren?
per Netzwerk? oder sollen wirklich nur die Dateien auf einer Platte auf der sie eh schon sind zusammengeführt werden?
Wenn dem so ist: nicht kopieren! >>> sondern ausschneiden und (im neuen Verzeichnis) einfügen.
(Das klappt ohne Zeitverzug da die Daten nicht wirklick kopiert werden sondern nur die Position im Katalog angepasst wird)
Sollen Deine Daten aber übers Netz oder auch nur auf eine andere Platte im PC kannst Du diesen Weg vergessen.
Viel Spaß
kowa
von wo nach wo möchtest Du kopieren?
per Netzwerk? oder sollen wirklich nur die Dateien auf einer Platte auf der sie eh schon sind zusammengeführt werden?
Wenn dem so ist: nicht kopieren! >>> sondern ausschneiden und (im neuen Verzeichnis) einfügen.
(Das klappt ohne Zeitverzug da die Daten nicht wirklick kopiert werden sondern nur die Position im Katalog angepasst wird)
Sollen Deine Daten aber übers Netz oder auch nur auf eine andere Platte im PC kannst Du diesen Weg vergessen.
Viel Spaß
kowa
Meiner Erfahrung nach sind solche Copyjobs in aller Regel wesentlich schneller, wenn man sie über die Kommandozeile per copy, xcopy oder robocopy ausführt. Vielleicht gibt auch noch andere CLI-Tools die schneller sind. Wenn das ganze übers Netz passiert sollte die Geschwindigkeit zwischen Quelle und Ziel natürlich so schnell wie irgendwie möglich sein.
Eine weitere Möglichkeit wäre es die Daten auf der Quelle zuerst in ein ZIP/RAR zusammenzufassen. Dann die gesamte Datei auf das Ziel übertragen und dort wieder auspacken. Beim Kopieren einzelner Dateien übers Netz wird nämlich nicht einmal eine Verbindung aufgebaut und dann alles rüber geschoben sondern jedes Mal werden in den Ressourcen die Rechte und verfügbarer Speicherplatz geprüft. Diesen Vorgang merkt man schön daran, dass so lange kopiert wird, bis das Ziel voll ist oder irgendwann die Rechte nicht passen. Wäre es anders käme eine entsprechende Fehlermeldung nämlich schon gleich zu Beginn des Vorgangs. Das liegt zwar alles im Bereich von Sekundenbruchteilen summiert sich bei Tausenden oder Millionen von Dateien aber zu einer erheblichen Gesamtzeit.
Kleine Beispielrechnung:
Angenommen für die notwendigen Prüfungen werden je Datei 1ms benötigt, dann macht das bei 1 Mio Dateien schon mal eben 1.000.000 x 0,01s = 10.000s = 166 Min = 2,3 h aus. Du hast sogar 2,7 Mio Dateien, womit ich dann auf 450 Min = 7,5h komme. Und in der Realität gehe ich mal davon aus, dass 1ms je Vorgang nicht reichen wird.
Manuel
Eine weitere Möglichkeit wäre es die Daten auf der Quelle zuerst in ein ZIP/RAR zusammenzufassen. Dann die gesamte Datei auf das Ziel übertragen und dort wieder auspacken. Beim Kopieren einzelner Dateien übers Netz wird nämlich nicht einmal eine Verbindung aufgebaut und dann alles rüber geschoben sondern jedes Mal werden in den Ressourcen die Rechte und verfügbarer Speicherplatz geprüft. Diesen Vorgang merkt man schön daran, dass so lange kopiert wird, bis das Ziel voll ist oder irgendwann die Rechte nicht passen. Wäre es anders käme eine entsprechende Fehlermeldung nämlich schon gleich zu Beginn des Vorgangs. Das liegt zwar alles im Bereich von Sekundenbruchteilen summiert sich bei Tausenden oder Millionen von Dateien aber zu einer erheblichen Gesamtzeit.
Kleine Beispielrechnung:
Angenommen für die notwendigen Prüfungen werden je Datei 1ms benötigt, dann macht das bei 1 Mio Dateien schon mal eben 1.000.000 x 0,01s = 10.000s = 166 Min = 2,3 h aus. Du hast sogar 2,7 Mio Dateien, womit ich dann auf 450 Min = 7,5h komme. Und in der Realität gehe ich mal davon aus, dass 1ms je Vorgang nicht reichen wird.
Manuel
Hallo,
ich kopiere die Daten von einer Festplatte auf die andere, die Festplatten befinden sich im PC.
LG
MC64de
ich kopiere die Daten von einer Festplatte auf die andere, die Festplatten befinden sich im PC.
LG
MC64de
Zitat von @MC64de:
Hallo,
ich kopiere die Daten von einer Festplatte auf die andere, die Festplatten befinden sich im PC.
Hallo,
ich kopiere die Daten von einer Festplatte auf die andere, die Festplatten befinden sich im PC.
Da es also nach nem ArbeitsPC klang (viel Infos hast Du ja nicht rausgerückt) könnte es sein das Du noch mit IDE-Platten arbeitest.
Dann kannst Du nurnoch schauen das Deinen Platten im PC "clever" angeschlossen sind und nicht am selben Port hängen.
na dann
kowa
2,7 Millionen Dateien in einem Verzeichnis unter Windows, das kann auf Dauer nicht gut gehen. Also schnellstens was besseres überlegen.
Aber wenns denn sein muß:
Erstens, NIEMALS NIEMALS NIEMALS mit dem Explorer auf dieses Verzeichnis zugreifen, allein der Aufbau der Darstellung sprengt Deinen Speicher und Deine Geduld. Nur mi Kommandozeilen Utilities arbeiten. Und bete, daß niemals ein Chkdsk-Lauf notwendig wird. Da wirst Du Stunden bis Tage warten.
Zweitens: Ich würde das dann mit Robocopy versuchen. Auch wenn die Geschwindigkeit da ebenfalls absinkt, weil das Bearbeiten der Verzeichnisstrukturen bei dieser Größe einfach aufwendig wird. NTFS verwendet B-Trees in den Verzeichnissen, was das finden von Dateien sehr schnell macht, aber bei einem B-Tree von 2,7 Millionen Einträgen einen weiteren hinzuzufügen, kostet eben etwas an Zeit.
Aber wenns denn sein muß:
Erstens, NIEMALS NIEMALS NIEMALS mit dem Explorer auf dieses Verzeichnis zugreifen, allein der Aufbau der Darstellung sprengt Deinen Speicher und Deine Geduld. Nur mi Kommandozeilen Utilities arbeiten. Und bete, daß niemals ein Chkdsk-Lauf notwendig wird. Da wirst Du Stunden bis Tage warten.
Zweitens: Ich würde das dann mit Robocopy versuchen. Auch wenn die Geschwindigkeit da ebenfalls absinkt, weil das Bearbeiten der Verzeichnisstrukturen bei dieser Größe einfach aufwendig wird. NTFS verwendet B-Trees in den Verzeichnissen, was das finden von Dateien sehr schnell macht, aber bei einem B-Tree von 2,7 Millionen Einträgen einen weiteren hinzuzufügen, kostet eben etwas an Zeit.
Sehr schnelle und auch gute Erfahrungen habe ich mirt dem Kopieren enormer Dateimengen unter Knoppix gemacht.
Also, von CD starten und über den angebotenen Explorer von einer Platte auf die andere schieben.
Viel Glück dabei
Also, von CD starten und über den angebotenen Explorer von einer Platte auf die andere schieben.
Viel Glück dabei
Hallo MC64de,
wenn die Zielfestplatte noch leer ist, würde ich die Festplatte klonen und dann wie KowaKowalski schrieb die Daten ausschneiden.
Gruß
icogmbh
wenn die Zielfestplatte noch leer ist, würde ich die Festplatte klonen und dann wie KowaKowalski schrieb die Daten ausschneiden.
Gruß
icogmbh
Was hast du denn für Platten und Betriebssystem?!?
Ich habe ein Problem gehabt mit den WD Platten mit 4k Sektoren und WinXP, dies trifft aber wohl alle Hersteller mit solchen Platten), da wollte ich "nur" 300 MB mit winzig kleine Dateien (teilweise nur ein paar Byte groß) kopieren, das hat fast 30 Minuten gedauert.
Nachdem ich mir die Platte mal engeguckt habe stand da gaaanz klein "XP Users must format with WD Advanced Format first"...Nachdem dieses Tool die Partitionen ein wenig verschoben hat klappte alles wunderbar...
Gruß
Carsten
Ich habe ein Problem gehabt mit den WD Platten mit 4k Sektoren und WinXP, dies trifft aber wohl alle Hersteller mit solchen Platten), da wollte ich "nur" 300 MB mit winzig kleine Dateien (teilweise nur ein paar Byte groß) kopieren, das hat fast 30 Minuten gedauert.
Nachdem ich mir die Platte mal engeguckt habe stand da gaaanz klein "XP Users must format with WD Advanced Format first"...Nachdem dieses Tool die Partitionen ein wenig verschoben hat klappte alles wunderbar...
Gruß
Carsten
Ganz anderer Ansatz:
Du hast/machst doch sicher eine Datensicherung
Warum spielst Du die nicht auf die andere Platte zurück, wobei Du auch die vorhandenen Berechtigungen behältst - und dann die Zusammenfassung wie von KowaKowalski geschrieben.
Du hast/machst doch sicher eine Datensicherung
Warum spielst Du die nicht auf die andere Platte zurück, wobei Du auch die vorhandenen Berechtigungen behältst - und dann die Zusammenfassung wie von KowaKowalski geschrieben.
