Top-Themen

Aktuelle Themen (A bis Z)

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

2,7 Millionen Dateien in kürstester Zeit kopieren

Frage Microsoft

Mitglied: MC64de

MC64de (Level 1) - Jetzt verbinden

11.03.2010 um 10:01 Uhr, 11006 Aufrufe, 9 Kommentare

Hallo liebe Kollegen,

ich bin gerade etwas am verzweifeln. Ich muss ca. 2,7 Millionen Dateien, die in 7 Verzeichnissen verteilt sind, in ein einziges Verzeichnis so schnell wie möglich Kopieren. (=Die Verzeichnisse sollen zusammen geführt werden)

Wenn man dies ganz normal mit Windows-Explorer versucht, fängt der Kopiervorgang mit ca. 200 Dateien in der Sekunden an und sinkt mit der zunehmenden Anzahl an schon kopierten Dateien so lange ab, bis in der Sekunden nur noch 0,5 Dateien übertragen werden.

Durch den Einsatz eines Tools namens "FastCopy" habe ich versucht dieses Problem zu lösen und musste gestern festgestellt, dass das Programm auch nur noch 1 Datei in der Sekunde überträgt.

Hat jemand vielleicht eine Lösung wie ich die Dateien schnell kopieren kann?

Vielen Dank und freundliche Grüße
MC64de
Mitglied: KowaKowalski
11.03.2010 um 10:23 Uhr
Hi,


von wo nach wo möchtest Du kopieren?
per Netzwerk? oder sollen wirklich nur die Dateien auf einer Platte auf der sie eh schon sind zusammengeführt werden?

Wenn dem so ist: nicht kopieren! >>> sondern ausschneiden und (im neuen Verzeichnis) einfügen.
(Das klappt ohne Zeitverzug da die Daten nicht wirklick kopiert werden sondern nur die Position im Katalog angepasst wird)


Sollen Deine Daten aber übers Netz oder auch nur auf eine andere Platte im PC kannst Du diesen Weg vergessen.

Viel Spaß
kowa
Bitte warten ..
Mitglied: manuel-r
11.03.2010 um 11:00 Uhr
Meiner Erfahrung nach sind solche Copyjobs in aller Regel wesentlich schneller, wenn man sie über die Kommandozeile per copy, xcopy oder robocopy ausführt. Vielleicht gibt auch noch andere CLI-Tools die schneller sind. Wenn das ganze übers Netz passiert sollte die Geschwindigkeit zwischen Quelle und Ziel natürlich so schnell wie irgendwie möglich sein.
Eine weitere Möglichkeit wäre es die Daten auf der Quelle zuerst in ein ZIP/RAR zusammenzufassen. Dann die gesamte Datei auf das Ziel übertragen und dort wieder auspacken. Beim Kopieren einzelner Dateien übers Netz wird nämlich nicht einmal eine Verbindung aufgebaut und dann alles rüber geschoben sondern jedes Mal werden in den Ressourcen die Rechte und verfügbarer Speicherplatz geprüft. Diesen Vorgang merkt man schön daran, dass so lange kopiert wird, bis das Ziel voll ist oder irgendwann die Rechte nicht passen. Wäre es anders käme eine entsprechende Fehlermeldung nämlich schon gleich zu Beginn des Vorgangs. Das liegt zwar alles im Bereich von Sekundenbruchteilen summiert sich bei Tausenden oder Millionen von Dateien aber zu einer erheblichen Gesamtzeit.

Kleine Beispielrechnung:
Angenommen für die notwendigen Prüfungen werden je Datei 1ms benötigt, dann macht das bei 1 Mio Dateien schon mal eben 1.000.000 x 0,01s = 10.000s = 166 Min = 2,3 h aus. Du hast sogar 2,7 Mio Dateien, womit ich dann auf 450 Min = 7,5h komme. Und in der Realität gehe ich mal davon aus, dass 1ms je Vorgang nicht reichen wird.

Manuel
Bitte warten ..
Mitglied: MC64de
11.03.2010 um 11:06 Uhr
Hallo,

ich kopiere die Daten von einer Festplatte auf die andere, die Festplatten befinden sich im PC.

LG
MC64de
Bitte warten ..
Mitglied: KowaKowalski
11.03.2010 um 11:16 Uhr
Zitat von MC64de:
Hallo,

ich kopiere die Daten von einer Festplatte auf die andere, die Festplatten befinden sich im PC.


Da es also nach nem ArbeitsPC klang (viel Infos hast Du ja nicht rausgerückt) könnte es sein das Du noch mit IDE-Platten arbeitest.
Dann kannst Du nurnoch schauen das Deinen Platten im PC "clever" angeschlossen sind und nicht am selben Port hängen.


na dann
kowa
Bitte warten ..
Mitglied: AndreasHoster
11.03.2010 um 11:17 Uhr
2,7 Millionen Dateien in einem Verzeichnis unter Windows, das kann auf Dauer nicht gut gehen. Also schnellstens was besseres überlegen.

Aber wenns denn sein muß:
Erstens, NIEMALS NIEMALS NIEMALS mit dem Explorer auf dieses Verzeichnis zugreifen, allein der Aufbau der Darstellung sprengt Deinen Speicher und Deine Geduld. Nur mi Kommandozeilen Utilities arbeiten. Und bete, daß niemals ein Chkdsk-Lauf notwendig wird. Da wirst Du Stunden bis Tage warten.

Zweitens: Ich würde das dann mit Robocopy versuchen. Auch wenn die Geschwindigkeit da ebenfalls absinkt, weil das Bearbeiten der Verzeichnisstrukturen bei dieser Größe einfach aufwendig wird. NTFS verwendet B-Trees in den Verzeichnissen, was das finden von Dateien sehr schnell macht, aber bei einem B-Tree von 2,7 Millionen Einträgen einen weiteren hinzuzufügen, kostet eben etwas an Zeit.
Bitte warten ..
Mitglied: xhennex
11.03.2010 um 11:38 Uhr
Sehr schnelle und auch gute Erfahrungen habe ich mirt dem Kopieren enormer Dateimengen unter Knoppix gemacht.

Also, von CD starten und über den angebotenen Explorer von einer Platte auf die andere schieben.

Viel Glück dabei
Bitte warten ..
Mitglied: icogmbh
11.03.2010 um 12:04 Uhr
Hallo MC64de,

wenn die Zielfestplatte noch leer ist, würde ich die Festplatte klonen und dann wie KowaKowalski schrieb die Daten ausschneiden.

Gruß
icogmbh
Bitte warten ..
Mitglied: cardisch
11.03.2010 um 13:15 Uhr
Was hast du denn für Platten und Betriebssystem?!?
Ich habe ein Problem gehabt mit den WD Platten mit 4k Sektoren und WinXP, dies trifft aber wohl alle Hersteller mit solchen Platten), da wollte ich "nur" 300 MB mit winzig kleine Dateien (teilweise nur ein paar Byte groß) kopieren, das hat fast 30 Minuten gedauert.
Nachdem ich mir die Platte mal engeguckt habe stand da gaaanz klein "XP Users must format with WD Advanced Format first"...Nachdem dieses Tool die Partitionen ein wenig verschoben hat klappte alles wunderbar...

Gruß

Carsten
Bitte warten ..
Mitglied: Driver401
11.03.2010 um 13:46 Uhr
Ganz anderer Ansatz:
Du hast/machst doch sicher eine Datensicherung
Warum spielst Du die nicht auf die andere Platte zurück, wobei Du auch die vorhandenen Berechtigungen behältst - und dann die Zusammenfassung wie von KowaKowalski geschrieben.
Bitte warten ..
Ähnliche Inhalte
Windows Server
Synchronisation von Millionen Dateien
Frage von xanacasWindows Server5 Kommentare

Hallo Leute, ich bin derzeit auf der Suche nach einem Performanten Sync-Client. Folgende Ausgangssituation: von einem Windows Server 2008R2 ...

Monitoring
Wireshark - 2 Millionen Anfragen innerhalb weniger Minuten
gelöst Frage von TjelvarMonitoring5 Kommentare

Hallo zusammen, ich habe folgende Anfragen von unserem Domain Controller mitgeschnitten, werde aber nicht wirklich schlau draus. Es sind ...

Microsoft
Massenimport ins SharePoint von ca. 320GB Daten (ca. 2 Millionen Dateien)
Frage von ReadmeMicrosoft7 Kommentare

Hallo liebe Gemeinde, ich hoffe Ihr könnte mir helfen bzw. Tipps geben. Für unseren Migrationsprojekt müssen große Datenmengen von ...

Windows 7
Hosts Datei kopieren mit Batchfile bei Windows 7
gelöst Frage von Amboss77Windows 77 Kommentare

Moinsen Ich hab jetzt das ganze Internet durch forstet aber nichts Brauchbares gefunden da ist mir eingefallen, dass ich ...

Neue Wissensbeiträge
Linux

Limux-Ende in München: Wie ein Linux Projekt unter Ausschluss der Öffentlichkeit zerstört wurde

Information von Frank vor 5 StundenLinux12 Kommentare

Mein persönlicher Kommentar zum Thema "Limux-Ende". Die SPD-Politikerin Anne Hübner hat die Richtung von München ganz klar definiert: "Wir ...

Batch & Shell

Open Object Rexx: Eine mittlerweile fast vergessene Skriptsprache aus dem Mainframebereich

Information von Penny.Cilin vor 1 TagBatch & Shell9 Kommentare

Ich kann mich noch sehr gut an diese Skriptsprache erinnern und nutze diese auch heute ab und an noch. ...

Humor (lol)

"gimme gimme gimme": Automatischer Test stolpert über Easter Egg im man-Tool

Information von Penny.Cilin vor 1 TagHumor (lol)6 Kommentare

Interessant, was man so alles als Easter Egg implementiert. Ist schon wieder Ostern? "gimme gimme gimme": Automatischer Test stolpert ...

MikroTik RouterOS

Mikrotik - Lets Encrypt Zertifikate mit MetaROUTER Instanz auf dem Router erzeugen

Anleitung von colinardo vor 2 TagenMikroTik RouterOS8 Kommentare

Einleitung Folgende Anleitung ist aus der Lage heraus entstanden das ein Kunde auf seinem Mikrotik sein Hotspot Captive Portal ...

Heiß diskutierte Inhalte
Router & Routing
Zwei Netzwerke erstellen
Frage von bunteblumeRouter & Routing14 Kommentare

Hallo Zusammen, Ich möchte gerne ein backup von einem bestimmten Folder welcher auf dem Server regelmässig synchronisiert wird auf ...

Off Topic
Fachkräftemangel in Deutschland? - Talentschmiede schreibt alle 2 Tage die gleichen Stellen aus
Frage von Penny.CilinOff Topic12 Kommentare

Hallo, haben wir in Deutschland Fachkräftemangel? Die Talentschmiede schreibt gefühlt alle zwei Tage dieselben Stellen aus. Und das schon ...

Linux
Limux-Ende in München: Wie ein Linux Projekt unter Ausschluss der Öffentlichkeit zerstört wurde
Information von FrankLinux12 Kommentare

Mein persönlicher Kommentar zum Thema "Limux-Ende". Die SPD-Politikerin Anne Hübner hat die Richtung von München ganz klar definiert: "Wir ...

Windows 10
Alle Programme mit bestimmtem Namen automatisch (per GPO) deinstallieren
gelöst Frage von lordofremixesWindows 1012 Kommentare

Hallo zusammen, gibt es eine Möglichkeit, alle Programme beginnend mit z.B. "Dell" im Namen per Script und somit per ...