Top-Themen

AppleEntwicklungHardwareInternetLinuxMicrosoftMultimediaNetzwerkeOff TopicSicherheitSonstige SystemeVirtualisierungWeiterbildungZusammenarbeit

Aktuelle Themen

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

2,7 Millionen Dateien in kürstester Zeit kopieren

Frage Microsoft

Mitglied: MC64de

MC64de (Level 1) - Jetzt verbinden

11.03.2010 um 10:01 Uhr, 9703 Aufrufe, 9 Kommentare

Hallo liebe Kollegen,

ich bin gerade etwas am verzweifeln. Ich muss ca. 2,7 Millionen Dateien, die in 7 Verzeichnissen verteilt sind, in ein einziges Verzeichnis so schnell wie möglich Kopieren. (=Die Verzeichnisse sollen zusammen geführt werden)

Wenn man dies ganz normal mit Windows-Explorer versucht, fängt der Kopiervorgang mit ca. 200 Dateien in der Sekunden an und sinkt mit der zunehmenden Anzahl an schon kopierten Dateien so lange ab, bis in der Sekunden nur noch 0,5 Dateien übertragen werden.

Durch den Einsatz eines Tools namens "FastCopy" habe ich versucht dieses Problem zu lösen und musste gestern festgestellt, dass das Programm auch nur noch 1 Datei in der Sekunde überträgt.

Hat jemand vielleicht eine Lösung wie ich die Dateien schnell kopieren kann?

Vielen Dank und freundliche Grüße
MC64de
Mitglied: KowaKowalski
11.03.2010 um 10:23 Uhr
Hi,


von wo nach wo möchtest Du kopieren?
per Netzwerk? oder sollen wirklich nur die Dateien auf einer Platte auf der sie eh schon sind zusammengeführt werden?

Wenn dem so ist: nicht kopieren! >>> sondern ausschneiden und (im neuen Verzeichnis) einfügen.
(Das klappt ohne Zeitverzug da die Daten nicht wirklick kopiert werden sondern nur die Position im Katalog angepasst wird)


Sollen Deine Daten aber übers Netz oder auch nur auf eine andere Platte im PC kannst Du diesen Weg vergessen.

Viel Spaß
kowa
Bitte warten ..
Mitglied: manuel-r
11.03.2010 um 11:00 Uhr
Meiner Erfahrung nach sind solche Copyjobs in aller Regel wesentlich schneller, wenn man sie über die Kommandozeile per copy, xcopy oder robocopy ausführt. Vielleicht gibt auch noch andere CLI-Tools die schneller sind. Wenn das ganze übers Netz passiert sollte die Geschwindigkeit zwischen Quelle und Ziel natürlich so schnell wie irgendwie möglich sein.
Eine weitere Möglichkeit wäre es die Daten auf der Quelle zuerst in ein ZIP/RAR zusammenzufassen. Dann die gesamte Datei auf das Ziel übertragen und dort wieder auspacken. Beim Kopieren einzelner Dateien übers Netz wird nämlich nicht einmal eine Verbindung aufgebaut und dann alles rüber geschoben sondern jedes Mal werden in den Ressourcen die Rechte und verfügbarer Speicherplatz geprüft. Diesen Vorgang merkt man schön daran, dass so lange kopiert wird, bis das Ziel voll ist oder irgendwann die Rechte nicht passen. Wäre es anders käme eine entsprechende Fehlermeldung nämlich schon gleich zu Beginn des Vorgangs. Das liegt zwar alles im Bereich von Sekundenbruchteilen summiert sich bei Tausenden oder Millionen von Dateien aber zu einer erheblichen Gesamtzeit.

Kleine Beispielrechnung:
Angenommen für die notwendigen Prüfungen werden je Datei 1ms benötigt, dann macht das bei 1 Mio Dateien schon mal eben 1.000.000 x 0,01s = 10.000s = 166 Min = 2,3 h aus. Du hast sogar 2,7 Mio Dateien, womit ich dann auf 450 Min = 7,5h komme. Und in der Realität gehe ich mal davon aus, dass 1ms je Vorgang nicht reichen wird.

Manuel
Bitte warten ..
Mitglied: MC64de
11.03.2010 um 11:06 Uhr
Hallo,

ich kopiere die Daten von einer Festplatte auf die andere, die Festplatten befinden sich im PC.

LG
MC64de
Bitte warten ..
Mitglied: KowaKowalski
11.03.2010 um 11:16 Uhr
Zitat von MC64de:
Hallo,

ich kopiere die Daten von einer Festplatte auf die andere, die Festplatten befinden sich im PC.


Da es also nach nem ArbeitsPC klang (viel Infos hast Du ja nicht rausgerückt) könnte es sein das Du noch mit IDE-Platten arbeitest.
Dann kannst Du nurnoch schauen das Deinen Platten im PC "clever" angeschlossen sind und nicht am selben Port hängen.


na dann
kowa
Bitte warten ..
Mitglied: AndreasHoster
11.03.2010 um 11:17 Uhr
2,7 Millionen Dateien in einem Verzeichnis unter Windows, das kann auf Dauer nicht gut gehen. Also schnellstens was besseres überlegen.

Aber wenns denn sein muß:
Erstens, NIEMALS NIEMALS NIEMALS mit dem Explorer auf dieses Verzeichnis zugreifen, allein der Aufbau der Darstellung sprengt Deinen Speicher und Deine Geduld. Nur mi Kommandozeilen Utilities arbeiten. Und bete, daß niemals ein Chkdsk-Lauf notwendig wird. Da wirst Du Stunden bis Tage warten.

Zweitens: Ich würde das dann mit Robocopy versuchen. Auch wenn die Geschwindigkeit da ebenfalls absinkt, weil das Bearbeiten der Verzeichnisstrukturen bei dieser Größe einfach aufwendig wird. NTFS verwendet B-Trees in den Verzeichnissen, was das finden von Dateien sehr schnell macht, aber bei einem B-Tree von 2,7 Millionen Einträgen einen weiteren hinzuzufügen, kostet eben etwas an Zeit.
Bitte warten ..
Mitglied: xhennex
11.03.2010 um 11:38 Uhr
Sehr schnelle und auch gute Erfahrungen habe ich mirt dem Kopieren enormer Dateimengen unter Knoppix gemacht.

Also, von CD starten und über den angebotenen Explorer von einer Platte auf die andere schieben.

Viel Glück dabei
Bitte warten ..
Mitglied: icogmbh
11.03.2010 um 12:04 Uhr
Hallo MC64de,

wenn die Zielfestplatte noch leer ist, würde ich die Festplatte klonen und dann wie KowaKowalski schrieb die Daten ausschneiden.

Gruß
icogmbh
Bitte warten ..
Mitglied: cardisch
11.03.2010 um 13:15 Uhr
Was hast du denn für Platten und Betriebssystem?!?
Ich habe ein Problem gehabt mit den WD Platten mit 4k Sektoren und WinXP, dies trifft aber wohl alle Hersteller mit solchen Platten), da wollte ich "nur" 300 MB mit winzig kleine Dateien (teilweise nur ein paar Byte groß) kopieren, das hat fast 30 Minuten gedauert.
Nachdem ich mir die Platte mal engeguckt habe stand da gaaanz klein "XP Users must format with WD Advanced Format first"...Nachdem dieses Tool die Partitionen ein wenig verschoben hat klappte alles wunderbar...

Gruß

Carsten
Bitte warten ..
Mitglied: Driver401
11.03.2010 um 13:46 Uhr
Ganz anderer Ansatz:
Du hast/machst doch sicher eine Datensicherung
Warum spielst Du die nicht auf die andere Platte zurück, wobei Du auch die vorhandenen Berechtigungen behältst - und dann die Zusammenfassung wie von KowaKowalski geschrieben.
Bitte warten ..
Neuester Wissensbeitrag
Windows 10

Powershell 5 BSOD

(2)

Tipp von agowa338 zum Thema Windows 10 ...

Ähnliche Inhalte
C und C++
Dateien in Ordner kopieren anhand vom Teil eines Dateinamen (22)

Frage von onlyforu8373 zum Thema C und C ...

Batch & Shell
Dateien kopieren die nicht mehr verändert werden? (10)

Frage von pbelcl zum Thema Batch & Shell ...

Windows Server
gelöst Administrator kann auf Server keine EXE-Dateien kopieren, löschen, anlegen (5)

Frage von Winfried-HH zum Thema Windows Server ...

Vmware
gelöst Dateien auf eine VM im EXSi kopieren (3)

Frage von Stefan007 zum Thema Vmware ...

Heiß diskutierte Inhalte
LAN, WAN, Wireless
gelöst Server erkennt Client nicht wenn er ausserhalb des DHCP Pools liegt (28)

Frage von Mar-west zum Thema LAN, WAN, Wireless ...

Windows Server
Server 2008R2 startet nicht mehr (Bad Patch 0xa) (18)

Frage von Haures zum Thema Windows Server ...

Outlook & Mail
Outlook 2010 findet ost datei nicht (18)

Frage von Floh21 zum Thema Outlook & Mail ...