alexdroid
Goto Top

Ordner mit 60 000 000 Dateien löschen

Moin Moin,
ein Kunde hatte jahrelang ein Problem mit einer Software und diese hat sehr viele (60 MIO!!!!!!) Errorlogs (1KB) in einen Ordner geschrieben.
Ich möchte nun den Ordner löschen. Dies ist allerdings mit Windows Boardmitteln nicht möglich. Explorer schmiert dauernd ab schon beim anzeigen des Inhalts.
Über die Konsole habe ich es auch schon versucht. Leider auch ohne Erfolg. Hat jemand eine Software oder eine Idee, wie ich den Ordner gelöscht bekomme?

Mit freundlichen Grüßen Alex

Content-Key: 293449

Url: https://administrator.de/contentid/293449

Printed on: April 24, 2024 at 19:04 o'clock

Member: chiefteddy
chiefteddy Jan 18, 2016 at 10:26:55 (UTC)
Goto Top
Hallo,

schon mal versucht über eine LiveLinux-CD bzw USB-Stick zu booten und dann den Ordner zu löschen?

Handelt es sich um eine System- oder eine reine Daten-Partition. Im letzteren Fall alle Daten mit Außnahme des Lög-Ordners sichern, Partition löschen und neu erstellen; Daten zurück spielen.

Jürgen
Member: departure69
departure69 Jan 18, 2016 at 10:31:30 (UTC)
Goto Top
Hallo.

Nur mal schnell aus der Hüfte:

Schon mal einen alternativen Dateimanager probiert? Gibt's auch jeweils Testversionen:

- Speed Commander (http://www.speedproject.de/download/)

- Total Commander (http://www.ghisler.com/ddownload.htm)

- Tablacus (http://www.eonet.ne.jp/~gakana/tablacus/explorer_en.html)

u. v. w. m.

Viele dieser Windows-Explorer-Alternativen nutzen aber die selben Routinen wie der Windows-Explorer, die werden Dir also evtl. nichts nützen. Ausprobieren heißt die Devise.


Viele Grüße

von

departure69
Member: alexdroid
alexdroid Jan 18, 2016 at 10:40:36 (UTC)
Goto Top
Mit nem Linux funktioniert es leider nicht, da das Raid im Linux nicht erkannt wird. Und es ist die Systempartition....
Member: aqui
aqui Jan 18, 2016 updated at 10:42:10 (UTC)
Goto Top
Über die Konsole habe ich es auch schon versucht. Leider auch ohne Erfolg.
Was heisst denn "ohne Erfolg" genau ?? Gibt
rmdir <verzeichnis> /s /q
denn eine Fehlermeldung ?
Member: Pjordorf
Pjordorf Jan 18, 2016 at 10:42:40 (UTC)
Goto Top
Hallo,

Zitat von @alexdroid:
Dies ist allerdings mit Windows Boardmitteln nicht möglich
Welches Windows und welche Fehlermeldung bzw. was genau hast du versucht?

Explorer
Der Windows Explorer oder nur der Datei Explorer?

Über die Konsole habe ich es auch schon versucht. Leider auch ohne Erfolg.
Was genau hast du über der Konsole versucht und was war die Fehlermeldung?

Gruß,
Peter
Mitglied: 122990
122990 Jan 18, 2016 updated at 10:46:40 (UTC)
Goto Top
Oder mit Robocopy und einem leeren dummmy Ordner als Admin ausgeführt auch schnell erledigt:
md "%temp%\leer"  
robocopy "%temp%\leer" "C:\zielordner" /MIR /B  
Gruß grexit
Member: alexdroid
alexdroid Jan 18, 2016 at 11:00:42 (UTC)
Goto Top
Zitat von @aqui:

Über die Konsole habe ich es auch schon versucht. Leider auch ohne Erfolg.
Was heisst denn "ohne Erfolg" genau ?? Gibt
rmdir <verzeichnis> /s /q,

Zugriff verweigert, obwohl als Admin ausgeführt.

denn eine Fehlermeldung ?

del Pfad\*.*
er führt das aus aber es kommt kein Ergebnis... Wahrscheinlich sind es einfach zu viele Dateien.
Ich konnte nach einer Stunde keinen Unterschied am Speicherplatz sehen.
Member: alexdroid
alexdroid Jan 18, 2016 at 11:03:50 (UTC)
Goto Top
Zitat von @Pjordorf:

Hallo,

Zitat von @alexdroid:
Dies ist allerdings mit Windows Boardmitteln nicht möglich
Welches Windows und welche Fehlermeldung bzw. was genau hast du versucht?
Windows Server 2008, Über den Explorer löschen --> Keine Rückmeldung
über CMD: del, rd --> Keine Ausgabe: cursor blinkt aber nichts passiert.

Explorer
Der Windows Explorer oder nur der Datei Explorer?
Beide

Über die Konsole habe ich es auch schon versucht. Leider auch ohne Erfolg.
Was genau hast du über der Konsole versucht und was war die Fehlermeldung?

Gruß,
Peter
Member: alexdroid
alexdroid Jan 18, 2016 at 11:05:08 (UTC)
Goto Top
Zitat von @departure69:

Hallo.

Nur mal schnell aus der Hüfte:

Schon mal einen alternativen Dateimanager probiert? Gibt's auch jeweils Testversionen:

- Speed Commander (http://www.speedproject.de/download/)

- Total Commander (http://www.ghisler.com/ddownload.htm)

- Tablacus (http://www.eonet.ne.jp/~gakana/tablacus/explorer_en.html)

u. v. w. m.

Viele dieser Windows-Explorer-Alternativen nutzen aber die selben Routinen wie der Windows-Explorer, die werden Dir also evtl. nichts nützen. Ausprobieren heißt die Devise.


Viele Grüße

von

departure69

Danke für den Vorschlag. Ich habe alle ausprobiert aber keiner bekommt es hin.
Gleiche Symptome wie beim Windows Explorer.
Member: C.R.S.
C.R.S. Jan 18, 2016 at 11:05:17 (UTC)
Goto Top
Das funktioniert (Server 2012R2): http://superuser.com/a/660250

Grüße
Richard
Member: Lochkartenstanzer
Lochkartenstanzer Jan 18, 2016 at 11:09:41 (UTC)
Goto Top
Moin,

  • knoppix booten
  • im Dateimanager bis zum fraglichen Ordner durchklicken.
  • Mit rechter maustaste löschen im Menü auswählen.
  • warten.

lks

PS: Alternativ kannst Du natürlich auch ein rm -rfv /mount/sdaX/dateipfahd/zielordner in der Konsole drauf loslassen.
Member: Pjordorf
Pjordorf Jan 18, 2016 at 11:19:34 (UTC)
Goto Top
Hallo,

Zitat von @alexdroid:
Windows Server 2008, Über den Explorer löschen --> Keine Rückmeldung
über CMD: del, rd --> Keine Ausgabe: cursor blinkt aber nichts passiert.
Die RAM Anzeige ändert sich nicht? Die HDD LEDs bleiben aus?
Die Prozesse selbst laufen aber noch?

Beide
Bei einem wird dein Desktop etc. neu gestartet. beim anderen nicht. Wie wenig RAM steht vorher bzw. währenddessen zur Verfügung?

Dein
Zugriff verweigert, obwohl als Admin ausgeführt.
Deutet darauf hin das deine Applikation / Dienst welche die Dateien erzeugt noch läuft. Not good.

Wie wenig RAM?
Welche HDD Platten?

NTFS sollte mit nur 60 Millionen Dateien kein Problem haben, wird nur dauern....

Ein del Dateiuswahl.* zum einschränken hilft nicht bzw. löscht auch dieses Auswahl nicht? (Kann alles dauern ... Stunden....)

Gruß,
Peter
Member: TheJoker2305
TheJoker2305 Jan 18, 2016 at 11:27:06 (UTC)
Goto Top
Hallo zusammen,

wie wäre ein Löschen in Blöcken anhand des Änderungsdatums?
- monatsweise / tagesweise

Wie wurde die Dateianzahl von 60.000.000 ermittelt?
Linux Server? Wurde LVM verwendet?


Beste Grüße
thejoker2305
Member: alexdroid
alexdroid Jan 18, 2016 at 11:33:49 (UTC)
Goto Top
Zitat von @Pjordorf:

Hallo,

Zitat von @alexdroid:
Windows Server 2008, Über den Explorer löschen --> Keine Rückmeldung
über CMD: del, rd --> Keine Ausgabe: cursor blinkt aber nichts passiert.
Die RAM Anzeige ändert sich nicht? Die HDD LEDs bleiben aus?
Die Prozesse selbst laufen aber noch?
die Prozesse laufen noch

Beide
Bei einem wird dein Desktop etc. neu gestartet. beim anderen nicht. Wie wenig RAM steht vorher bzw. währenddessen zur Verfügung?
ca. 12 GB verfügbar

Dein
Zugriff verweigert, obwohl als Admin ausgeführt.
Deutet darauf hin das deine Applikation / Dienst welche die Dateien erzeugt noch läuft. Not good.
Ja die Logs kommen vom Mailserver, der natürlich noch läuft. Einzelne Dateien lassen sich via cmd löschen.

Wie wenig RAM?
Welche HDD Platten?
Raid 5 mit 4 * 1TB

NTFS sollte mit nur 60 Millionen Dateien kein Problem haben, wird nur dauern....
das ist auch meine Vermutung. das wird aber Monate dauern, wenn er nach 3 Stunden nur ein paar MB schafft.

Ein del Dateiuswahl.* zum einschränken hilft nicht bzw. löscht auch dieses Auswahl nicht? (Kann alles dauern ... Stunden....)

Gruß,
Peter
Member: alexdroid
alexdroid Jan 18, 2016 at 11:35:09 (UTC)
Goto Top
Zitat von @TheJoker2305:

Hallo zusammen,

wie wäre ein Löschen in Blöcken anhand des Änderungsdatums?
- monatsweise / tagesweise
Mache ich im Moment über Delage32. Dauert aber viel zu lange

Wie wurde die Dateianzahl von 60.000.000 ermittelt?
Rechtsklick->Eigenschaften des Ordners
Linux Server? Wurde LVM verwendet?
Windows Server 2008 immer noch


Beste Grüße
thejoker2305
Member: alexdroid
alexdroid Jan 18, 2016 at 11:35:54 (UTC)
Goto Top
Zitat von @Lochkartenstanzer:

Moin,

  • knoppix booten
  • im Dateimanager bis zum fraglichen Ordner durchklicken.
  • Mit rechter maustaste löschen im Menü auswählen.
  • warten.

lks

PS: Alternativ kannst Du natürlich auch ein rm -rfv /mount/sdaX/dateipfahd/zielordner in der Konsole drauf loslassen.

War auch mein Plan. Funktioniert nicht da Raid5
Member: alexdroid
alexdroid Jan 18, 2016 at 11:40:35 (UTC)
Goto Top
Zitat von @122990:

Oder mit Robocopy und einem leeren dummmy Ordner als Admin ausgeführt auch schnell erledigt:
> md "%temp%\leer"  
> robocopy "%temp%\leer" "C:\zielordner" /MIR /B  
> 
Gruß grexit

Das habe ich auch grad getestet. Dauert aber genau solange wie die Dateien zu löschen.
Bräuchte da eine schnellere Lösung. Kann nicht Monate warten bis der Ordner gelöscht ist.

Danke trotzdem
Member: Pjordorf
Pjordorf Jan 18, 2016 updated at 11:41:53 (UTC)
Goto Top
Hallo,

Zitat von @alexdroid:
die Prozesse laufen noch
Und? Steigen dir ihr RAM bedarf nach oben?

ca. 12 GB verfügbar
Da passt deine Dateiliste nicht rein, also wird dein Server anfangen auszulagern. je nach was er alles mit den RAID schon anstellt, jetzt bekommt er richtig was zu tun.... Mehr RAM.

Ja die Logs kommen vom Mailserver, der natürlich noch läuft. Einzelne Dateien lassen sich via cmd löschen.
Einzelnen Dateien ist klar - nämlich die welche nicht mehr im Zugriff sind. Um welche Dateien geht es denn genau? Und sicher das dein Mailserver diese Dateien nicht mehr benötigt? Normalerweise wenn ein Mailserver Dateien ablegt, braucht er diese noch.....

Raid 5 mit 4 * 1TB
Welche U/Min macht eine Platte? SAS oder SATA? RAID Kontroller hat Cache und BBU?

das ist auch meine Vermutung. das wird aber Monate dauern, wenn er nach 3 Stunden nur ein paar MB schafft.
Dann funktioniert das löschen doch. Du hast es aber anders dargestellt. Das es langsam ist, ist bei einer zahl von 60 Millionen Dateien in ein Ordner doch klar. Da hilft nur reine Rechenpower und RAM und schnelle Platten ...

Gruß,
Peter
Member: emeriks
emeriks Jan 18, 2016 updated at 11:45:09 (UTC)
Goto Top
Hi,
egal, wie Du es anstellst, Geduld wirst Du schon aufbringen müssen. 60 MIO Dateien löschen wird wohl ein paar Tage dauern.
Nur mal als Rechenbeispiel:
Um das an einem Tag zu schaffen, müsste er ca. 41.666 Dateien pro Minute löschen. 695 pro Sekunde. Das schafft der nicht. Kann ich mir nicht vorstellen. Auch nicht mit SSD und Fibre Channel. Der Knackpunkt ist das OS dahinter, unter welchem das Löschen stattfindet und ob der Code (die EXE) dafür ausgelegt (getestet) wurden. Irgendwo läuft es dann mal über.

Linux oder Windows: Ich würde ein Script laufen lassen, welches solange in der Endlosschleife läuft, bis der Ordner leer ist. Welches Kommando oder externe Tool es schlussendlich aufruft, um die Dateien zu löschen, ist zweitrangig.

Aber mal ein anderer Weg:
Die Systempartition?
Wie wäre es mit einer regulären Sicherung der Systempartition unter Auschluss des betreffenden Verzeichnisses. Dann das OS neu aufsetzen (Partition löschen und neu erstellen, oder nur formatieren) und anschließend die Sicherung wiederherstellen. Das geht wahrscheinlich um Längen schneller.

E.
Member: TheJoker2305
TheJoker2305 Jan 18, 2016 at 11:51:35 (UTC)
Goto Top
Hallo
Mache ich im Moment über Delage32. Dauert aber viel zu lange

Wird die Anzahl der Dateien merklich weniger ?

X Dateien in 1 Minute?

Beste Grüße
thejoker2305
Member: emeriks
emeriks Jan 18, 2016 at 11:58:53 (UTC)
Goto Top
Hallo
Mache ich im Moment über Delage32. Dauert aber viel zu lange

Wird die Anzahl der Dateien merklich weniger ?
Diesen Ansatz halte ich für verschenkte Zeit. Er muss bei JEDEM Durchlauf, egal mit welchen Parametern, den gesamten Verzeichnisinhalt auswerten. Jedes Datum jeder Datei. Und das immer wieder und wieder, wenn Du Delage immer wieder für einen anderen Zeitraum aufrufst. (Auch wenn die Dateien dabei nach und nach weniger werden.)
Ich programmiere sebst ein bisschen. Glaub mir: Am längsten dauert nicht das Löschen der Datei sondern das Enumerieren der vorhandenen Dateien.
Ein weiterer Aspekt: Durch das Löschen nach Datum in mehreren Trancen wird die MFT immer mehr fragmentiert. Das Durchlaufen der Einträge wird deshalb nicht schneller. Wir reden hier nur von Millisekunden aber bei 60 Mio .... 1 Mio Millisekunden sind ca. 17 Minuten.
Member: TheJoker2305
TheJoker2305 Jan 18, 2016 at 12:02:10 (UTC)
Goto Top
Ich finde die Lösung von emeriks ganz brauchbar, aber

Wie wäre es mit einer regulären Sicherung der Systempartition unter Auschluss des betreffenden Verzeichnisses. Dann das OS neu aufsetzen (Partition löschen und neu erstellen, oder nur formatieren) und anschließend die Sicherung wiederherstellen. Das geht wahrscheinlich um Längen schneller.

Ansonsten ... was über Jahre hinweg erstellt wurde braucht auch seine Zeit wieder gelöscht zu werden.

Wieviele Dateien werden denn aktuell pro Minute gelöscht? Dann ist das Ende ja absehbar ...
Member: TheJoker2305
TheJoker2305 Jan 18, 2016 at 12:04:53 (UTC)
Goto Top
Was macht denn die Schleife

For Each File in Verzeichnis ... per Batch?
Legt diese auch erst im RAM eine Liste der Dateien an?
Member: emeriks
emeriks Jan 18, 2016 at 12:36:10 (UTC)
Goto Top
Legt diese auch erst im RAM eine Liste der Dateien an?
Gute Frage!
Das ist möglicherweise die Achillesferse der Scriptvariante. Auch diese müsste beim File.Count erstmal die Anzahl der Dateien erfassen, um dann bei "if File.Count > 0" (in welcher Sprache auch immer) zu verzweigen.

Ich denke, der Weg über Backup/Recovery und Partition löschen/formatieren geht schneller. Vorausgesetzt, der Server kann mal für einen Tag offline gehen (z.B. am Wochenende).
Member: aqui
aqui Jan 18, 2016 at 12:52:25 (UTC)
Goto Top
Zugriff verweigert, obwohl als Admin ausgeführt.
Das ist doch aber dennoch ein Rechteproblem...
Member: AnkhMorpork
AnkhMorpork Jan 18, 2016 at 13:07:08 (UTC)
Goto Top
Zitat von @emeriks:

Legt diese auch erst im RAM eine Liste der Dateien an?
Gute Frage!
Das ist möglicherweise die Achillesferse der Scriptvariante. Auch diese müsste beim File.Count erstmal die Anzahl der Dateien erfassen, um dann bei "if File.Count > 0" (in welcher Sprache auch immer) zu verzweigen.

Ich denke, der Weg über Backup/Recovery und Partition löschen/formatieren geht schneller. Vorausgesetzt, der Server kann mal für einen Tag offline gehen (z.B. am Wochenende).

Ein Denkansatz:
In der Pipeline wird ein Objekt sofort nach dem erzeugen oder Bearbeiten an das nächste Cmdlet weitergegeben. Ausnahmen sind hier z.B. das Sort-Object Cmdlet  das die Objekte sammeln muss um sie zu sortieren.
In unserem Beispiel wird jedes Objekt das Get-ChildItem erzeugt sofort einzeln an das ForEach-Object Cmdlet weitergegeben.
Dies verbraucht sehr wenig Arbeitsspeicher während der Abarbeitung.
Hier kann man sehr große Objekt mengen ohne Speicherprobleme verarbeiten.

Quelle: http://www.admin-source.de/BlogDeu/905/powershell-foreach-und-foreach-object
Member: Lochkartenstanzer
Lochkartenstanzer Jan 18, 2016 at 13:17:23 (UTC)
Goto Top
Zitat von @alexdroid:


War auch mein Plan. Funktioniert nicht da Raid5

Wüßte onicht, daß knoppix das etwas ausmacht. face-smile

ggf. mal die raidtreiber laden?

lks
Mitglied: 122990
122990 Jan 18, 2016 updated at 16:21:13 (UTC)
Goto Top
Wie @emeriks schon gesagt hat ist hier die MFT die Bremse, in dieser ist ja für jede Datei ein Eintrag hinterlegt welcher daraus entfernt werden muss = kostet entsprechend Zeit.
Also entweder warten oder den Vorschlag von emeriks beherzigen: Backup unter Ausschluss des betroffenen Verzeichnisses, formatieren und wiederherstellen.

Gruß grexit
Mitglied: 117471
117471 Jan 18, 2016 at 22:07:19 (UTC)
Goto Top
Mit der Powershell kannst Du den auch nicht (über Nacht) löschen?
Member: McKilroy
McKilroy Jan 19, 2016 at 02:50:19 (UTC)
Goto Top
Du solltest ACRONIS TRUE IMAGE (ATI) kennen und natürlich auch besitzen face-smile

Boote mit der ATI-CD, lege ein Image von dem Laufwerk C an, bei dem du diese
verdammten Errorlog-Order und die Errorlog-Dateien einfach vom Sichern
ausschließt. Natürlich die Image-Datei auf einer anderen Partition (auch extern) anlegen!

Sobald die Sicherung angelegt wurde, einfach das eben gesicherte wieder
zurück schreiben. ATI löscht die Partition (C: ) und legt sie neu an.
(Den MBR brauchst du nicht zurück kopieren!)

ATI ist extrem zuverlässig, relativ schnell und gar nicht teuer !!!

Bei Fragen zu ATI: Anleitung lesen, steht alles 'drin, was man wissen muss face-smile

Viel Erfolg.
Member: Avaatar
Avaatar Jan 19, 2016 at 06:22:41 (UTC)
Goto Top
Wieso kein Powershell/Batch Skript das per Taskplaner immer nachts und am WE läuft und Daten löscht? Den Task dann nach einer gewissen Laufzeit abbrechen lassen damit der Server morgens nicht ausgelastet ist. Das dauert natürlich etwas und man hat keine Server Downtime/Wochenendarbeit.
Member: alexdroid
alexdroid Jan 19, 2016 at 08:42:43 (UTC)
Goto Top
Zitat von @McKilroy:

Du solltest ACRONIS TRUE IMAGE (ATI) kennen und natürlich auch besitzen face-smile

Boote mit der ATI-CD, lege ein Image von dem Laufwerk C an, bei dem du diese
verdammten Errorlog-Order und die Errorlog-Dateien einfach vom Sichern
ausschließt. Natürlich die Image-Datei auf einer anderen Partition (auch extern) anlegen!

Sobald die Sicherung angelegt wurde, einfach das eben gesicherte wieder
zurück schreiben. ATI löscht die Partition (C: ) und legt sie neu an.
(Den MBR brauchst du nicht zurück kopieren!)

ATI ist extrem zuverlässig, relativ schnell und gar nicht teuer !!!

Bei Fragen zu ATI: Anleitung lesen, steht alles 'drin, was man wissen muss face-smile

Viel Erfolg.

Ich bin mir im Klaren, dass es die einfachste Lösung ist. Jedoch ist es ein Server in einer Produktivumgebung, welcher nicht mal eben einen halben Tag ausfallen kann/darf. Am Wochenende arbeiten macht meistens auch nicht so viel Spass.

Gibt es eine Möglichkeit deltree auf ein aktuelles System zu bekommen?
Mit Deltree geht das um ein vielfaches schneller. Jedoch gab es das nur bis WIN98?!

MFG
Member: Lochkartenstanzer
Lochkartenstanzer Jan 19, 2016 updated at 08:55:59 (UTC)
Goto Top
Zitat von @alexdroid:

Gibt es eine Möglichkeit deltree auf ein aktuelles System zu bekommen?
Mit Deltree geht das um ein vielfaches schneller. Jedoch gab es das nur bis WIN98?!

Mach doch cygwin drauf und lass ein rm -rfv auf das Verzeichis los. face-smile

lks
Member: emeriks
emeriks Jan 19, 2016 at 09:11:11 (UTC)
Goto Top
Wenn es nur im laufenden Betrieb geht, dann musst Du eben klassisch löschen. Aber mach es doch dann bitte einfach! Und lass es laufen! irgendwann ist er fertig. Du kannst hier 3 Tage diskutieren und probieren, immer wieder abbrechen. Oder Du lässt ihn in diesen 3 Tagen einfach löschen und hast es hinter Dir.

Kutscher: "Komme ich auf diesem Weg zur Stadt?"
Till: "Ja. Wenn Ihr langsam fahrt."

Eile mit Weile!
Member: alexdroid
alexdroid Jan 19, 2016 at 09:24:54 (UTC)
Goto Top
Zitat von @Lochkartenstanzer:

Zitat von @alexdroid:

Gibt es eine Möglichkeit deltree auf ein aktuelles System zu bekommen?
Mit Deltree geht das um ein vielfaches schneller. Jedoch gab es das nur bis WIN98?!

Mach doch cygwin drauf und lass ein rm -rfv auf das Verzeichis los. face-smile

lks

Danke für den Vorschlag, das habe ich nun einmal angeschmissen und werde berichten, ob es so besser klappt.
Member: Lochkartenstanzer
Solution Lochkartenstanzer Jan 19, 2016 updated at 13:23:57 (UTC)
Goto Top
Zitat von @emeriks:

Wenn es nur im laufenden Betrieb geht, dann musst Du eben klassisch löschen. Aber mach es doch dann bitte einfach! Und lass es laufen! irgendwann ist er fertig.

Mit den Bordmitteln offensichtlich nciht so ohne weiteres. Deswegen würde ich da nicht lange herumdoktorn (Nein, das ist nciht auf @keine-ahnung gemünzt) und einfach ein tool wie cygwin draufwerfen und ein rm -rfv loslassen.

lks
Member: alexdroid
alexdroid Jan 19, 2016 at 09:27:07 (UTC)
Goto Top
Zitat von @emeriks:

Wenn es nur im laufenden Betrieb geht, dann musst Du eben klassisch löschen. Aber mach es doch dann bitte einfach! Und lass es laufen! irgendwann ist er fertig. Du kannst hier 3 Tage diskutieren und probieren, immer wieder abbrechen. Oder Du lässt ihn in diesen 3 Tagen einfach löschen und hast es hinter Dir.

Kutscher: "Komme ich auf diesem Weg zur Stadt?"
Till: "Ja. Wenn Ihr langsam fahrt."

Eile mit Weile!

Ja sorry, es ist aber nicht ganz so einfach, wie gesagt eine Produktivumgebung. und das manuelle löschen geht so langsam, dass man es kaum merkt...
und wie du evtl. weisst, mögen Mailserver es nicht so gerne, wenn kein Speicherplatz auf der Partition vorhanden ist. Immer wenn ich grad nichts anderes probiere dann läuft auch eine manuelles Löschen der Dateiein.
Member: alexdroid
alexdroid Jan 19, 2016 at 09:31:58 (UTC)
Goto Top
Mit den Bordmitteln offensichtlich nciht so ohne weiteres. Deswegen würde ich da nicht lange herumdoktorn (Nein, das ist nciht auf @keine-ahnung gemünzt) und einfach ein tool wie cygwin draufwerfen und ein rm -rfv loslassen.

rm -rfv ist nach 2 Sekunden fertig aber alle Dateien sind noch vorhanden.
rm *.* dauert gefühlt genauso lange wie in der CMD
Member: emeriks
emeriks Jan 19, 2016 at 09:34:19 (UTC)
Goto Top
und das manuelle löschen geht so langsam, dass man es kaum merkt...
Mal ein Hinweis: Wenn Du ihm da parallel "auf die Finger guggst", dann bist Du derjenige, der das noch zusätzlich ausbremst. So wie die Feuerwehr wegen der Schaulustigen nicht arbeiten kann. Wie schon erwähnt: Allein das Auflisten (anzeigen, zählen) der Dateien kostet bei derart vielen davon viel Zeit, RAM und CPU.

Konsole. CMD. Löschen. CMD minimieren (ja, wichtig!). Konsole sperren. 1x Tag nachschauen.
Member: Lochkartenstanzer
Lochkartenstanzer Jan 19, 2016 updated at 09:44:39 (UTC)
Goto Top
Zitat von @alexdroid:

Mit den Bordmitteln offensichtlich nciht so ohne weiteres. Deswegen würde ich da nicht lange herumdoktorn (Nein, das ist nciht auf @keine-ahnung gemünzt) und einfach ein tool wie cygwin draufwerfen und ein rm -rfv loslassen.

rm -rfv ist nach 2 Sekunden fertig aber alle Dateien sind noch vorhanden.

Auch mit den passenden Rechten gestartet und den richtigen ordner angegeben?

z.B.

rm -rfv /cygdrive/c/temp/logfiles

wenn das Verzeichnis "c:\temp\logfiles" wäre.

rm *.* dauert gefühlt genauso lange wie in der CMD

Das ist klar, weil er di wildcards erst auflösen muß. Du mußt als Parameter das Verzeichnis angeben.

lks
Member: alexdroid
alexdroid Jan 19, 2016 at 09:42:03 (UTC)
Goto Top
Konsole. CMD. Löschen. CMD minimieren (ja, wichtig!). Konsole sperren. 1x Tag nachschauen.

Danke für den Hinweis.... Leider habe ich das Problem und nicht du. Du darfst dich gerne hier aus der Diskussion ausklinken.
Wenn ich das anschmeisse und ne Stunde später schaue, dann ist das Consolenfenster nicht mehr vorhanden (kein anderer hat Zugriff).
Außerdem bringt das manuelle löschen 2mb in einer Stunde. Bringt nicht viel, wenn mehr als 2mb neue Daten hinzukommen.
Member: emeriks
emeriks Jan 19, 2016 updated at 09:50:59 (UTC)
Goto Top
Danke für den Hinweis.... Leider habe ich das Problem und nicht du. Du darfst dich gerne hier aus der Diskussion ausklinken.
???

Außerdem bringt das manuelle löschen 2mb in einer Stunde. Bringt nicht viel, wenn mehr als 2mb neue Daten hinzukommen.
Wo hattest Du das bisher schon erwähnt? Habe ich das überlesen? Die neuen Daten sind auch Logs in diesem Verzeichnis?

Dienst anhalten.
Verzeichnis umbenennen. (ich hoffe das geht, sollte aber)
USB-Platte anhängen wenn physischer Server (sonst weitere virtuelle HDD anhängen)
diese Platte mit diesem Pfad des betreffenden Verzeichnisses einhängen. Entweder über mklink.exe oder einfach mit der MMC "Computerverwaltung"
Dienst wieder starten.

Dann hast Du Ruhe auf der C:-Platte. Die Logs landen jetzt auf dieser extra Platte.

Vorausgesetz, das Umbennenn des Ordners funktioniert, ist diese Aktion in ein paar Minuten erledigt.

Jetzt könntest Du Dich auf das Löschen konzentrieren.

PS: Oder gleich in der Software den Log-Pfad ändern ....
Member: alexdroid
alexdroid Jan 19, 2016 at 09:54:10 (UTC)
Goto Top
Dienst anhalten.
Verzeichnis umbenennen. (ich hoffe das geht, sollte aber)
USB-Platte anhängen wenn physischer Server (sonst weitere virtuelle HDD anhängen)
diese Platte mit diesem Pfad des betreffenden Verzeichnisses einhängen. Entweder über mklink.exe oder einfach mit der MMC "Computerverwaltung"
Dienst wieder starten.

Dann hast Du Ruhe auf der C:-Platte. Die Logs landen jetzt auf dieser extra Platte.

Vorausgesetz, das Umbennenn des Ordners funktioniert, ist diese Aktion in ein paar Minuten erledigt.

Jetzt könntest Du Dich auf das Löschen konzentrieren.

PS: Oder gleich in der Software den Log-Pfad ändern ....

Also es ist ein laufendes Mailsystem, in dem wie üblich auch Emails eintreffen und gesendet werden.
Den Fehler, welche diese Errorlogs im Sekundentakt geschrieben hat, habe ich behoben. Demnach kommen nun auch keinen neuen Errorlogs.
Ich habe alles was ich auslagern konnte, schon ausgelagert.. Wenn ich dem Speicherproblem nun aus dem Weg gehen wollte, müsste ich das Gesamte Mailsystem auslagern und das ist nicht so einfach möglich.
Member: emeriks
emeriks Jan 19, 2016 at 10:01:18 (UTC)
Goto Top
Außerdem bringt das manuelle löschen 2mb in einer Stunde. Bringt nicht viel, wenn mehr als 2mb neue Daten hinzukommen.
Du musst aber irgendwo anfangen.

Ich habe alles was ich auslagern konnte, schon ausgelagert.
Was war das alles? Die üblichen Verdächtigen?
- Hibernate File (abschalten)
- Page File
- C:\Windows\System32\Installer
- C:\Windows\System32\SoftwareDistribution
- Temp-Pfade
- Ordnerumleitung in den Benutzerprofilen der Admins
- möglicherweise vorhandene Dumpfiles von aufgetretenen Abstürzen (Bluescreens)
?
Member: McKilroy
McKilroy Jan 19, 2016 at 11:06:41 (UTC)
Goto Top
Da fällt mir doch gleich ein passendes Sprichwort ein:
"Wasch mich, mach mich aber bitte nicht nass!!"

Das Sichern dauert eine gute Viertelstunde, das Rücksichern geht sogar noch schneller.

Hier würde ich Prioritäten setzen. Entweder tagelanges, erfolgloses herumärgern oder
innert einer halben Stunde Nägel mit Köpfen machen und danach den ganzen Ärger
vergessen.

Wenn man den Verantwortlichen sachlich und vernünftig erklärt, dass sein System für
eine halbe Stunde nicht verfügbar sein wird, dann hat es in meiner über 30-jährigen
Berufserfahrung damit noch nie ein Problem gegeben. Jeder war froh, in der Aussicht,
danach ein Fehlerbereinigtes System zu haben...

Zudem könnte der ganze Aufwand zeitgleich mit einem Austausch der offensichtlich
doch schon recht betagten Festplatte erfolgen. Dann wären gleich 2 Fliegen mit einem
Rutsch erschlagen.Und wenn man dann auch noch berücksicht, dass man dadurch eine
SICHERHEITSKOPIE des Systemlaufwerks für irgendwelche Eventualitäten hat, dann gibt
es doch keine Alternative.

Ich frage mich allen Ernstes, ob Du Bastler, Hobbyst oder Fachman bist.... Sorry,
aber diese Frage drängt sich mir einfach in den Vordergrund.

Weiterhin fröhliches herummurksen bis zum Daten-GAU !

Dennoch einen alternativen Vorschlag: Nutze "Beyond Compare" (Hersteller: Scooter Software).
Die "Löscheinstellung" unbedingt auf direktes Löschen (nicht Papierkorb) einstellen. Dieses
Programm ist ebenfalls extrem zuverlässig, sehr schnell, intuitiv bedienbar, hat tolle Features
und kostet wenig!
Member: Silicium
Silicium Jan 19, 2016 at 12:01:37 (UTC)
Goto Top
Mach doch einfach ne for Schleife!?

Wie heissen denn die Dateinamen?

Wenn es Timestamps sind wuerde ich einfach hochzaehlen.
Oder Du loeschst einfach das Verzeichnis wo die Files drin liegen. damit werden alle unterliegenden Inodes ebenfalls ge-unlinkt, aber vom Filesystemtreiber und nicht von irgend ner high-level Applikation!

Machs aber auf jeden fall ueber ein Terminal.
Mitglied: 117471
117471 Jan 19, 2016 at 12:24:21 (UTC)
Goto Top
Mit der PowerShell hat es auch nicht geklappt?

Abgesehen davon: Wenn der Kunde "jahrelang Probleme" hatte und sich dann (nach Jahren...) meldet, dann sollte er auch entsprechend kompromissbereit sein.

Was hier noch nicht betrachtet wurde und auch damit zusammenhängen könnte: Wurde auf dem Volume u.U. die Dateikomprimierung aktiviert?
Member: emeriks
emeriks Jan 19, 2016 updated at 12:51:53 (UTC)
Goto Top
Wurde auf dem Volume u.U. die Dateikomprimierung aktiviert?
Welche Auswirkung soll das auf den Löschvorgang haben? Oder auf die Auflistung der Datei?
Member: alexdroid
alexdroid Jan 19, 2016 at 12:53:20 (UTC)
Goto Top
Zitat von @McKilroy:

Da fällt mir doch gleich ein passendes Sprichwort ein:
"Wasch mich, mach mich aber bitte nicht nass!!"

Das Sichern dauert eine gute Viertelstunde, das Rücksichern geht sogar noch schneller.

Ich frag mich gerade ernsthaft, wer hier der Amateur ist?!?!?! Ich muss grade echt lachen... Ahnung scheint bei dir auf jeden Fall nicht vorhanden zu sein.
DU kannst also behaupten, dass du es hinbekommst eine Sicherung einer Partition (4TB und nicht virtuell) die voll ist, wobei ohne die 60mio Errorlogs dann noch 3,75TB überbleiben, in einer Viertelstunde zu sichern.... Respekt. Komm her und mach das!


Hier würde ich Prioritäten setzen. Entweder tagelanges, erfolgloses herumärgern oder
innert einer halben Stunde Nägel mit Köpfen machen und danach den ganzen Ärger
vergessen.

Wenn man den Verantwortlichen sachlich und vernünftig erklärt, dass sein System für
eine halbe Stunde nicht verfügbar sein wird, dann hat es in meiner über 30-jährigen
Berufserfahrung damit noch nie ein Problem gegeben. Jeder war froh, in der Aussicht,
danach ein Fehlerbereinigtes System zu haben...

Fehler sind doch schon behoben! nur die alten Logs sollen weg!


Zudem könnte der ganze Aufwand zeitgleich mit einem Austausch der offensichtlich
doch schon recht betagten Festplatte erfolgen. Dann wären gleich 2 Fliegen mit einem
Rutsch erschlagen.Und wenn man dann auch noch berücksicht, dass man dadurch eine
SICHERHEITSKOPIE des Systemlaufwerks für irgendwelche Eventualitäten hat, dann gibt
es doch keine Alternative.
Auch gut, dass du behaupten kannst, die Festplatten seien betagt...


Ich frage mich allen Ernstes, ob Du Bastler, Hobbyst oder Fachman bist.... Sorry,
aber diese Frage drängt sich mir einfach in den Vordergrund.
Das frage ich mich gerade bei dir, wenn du ohne das System zu kennen solche Aussagen treffen kannst!


Weiterhin fröhliches herummurksen bis zum Daten-GAU !

Herzlichen Glückwunsch zu deinem 2 Post. Wegen mir hätte es liebendgerne bei EINEM bleiben können!

Wünsche dir einen recht erfolgreichen Arbeitstag! Ich frag mal ob die eine halbe Stunde ohne können face-wink
Member: qf1410640014
qf1410640014 Jan 19, 2016 at 12:55:37 (UTC)
Goto Top
ich würde wirklich alles andere auf eine externe Platte auslagern - das Ding formatieren und danach das ausgelagerte Zeugs zurückholen. Geht sicher schneller.
Member: alexdroid
alexdroid Jan 19, 2016 at 12:56:15 (UTC)
Goto Top
Zitat von @Silicium:

Mach doch einfach ne for Schleife!?

Bringt keinen Unterschied in der Geschwindigkeit.

Wie heissen denn die Dateinamen?

die Dateinamen lauten *.001

Wenn es Timestamps sind wuerde ich einfach hochzaehlen.
Oder Du loeschst einfach das Verzeichnis wo die Files drin liegen. damit werden alle unterliegenden Inodes ebenfalls ge-unlinkt, aber vom Filesystemtreiber und nicht von irgend ner high-level Applikation!

Machs aber auf jeden fall ueber ein Terminal.

Die Löschung läuft ja im Hintergrund die ganze Zeit. Ich wollte jetzt hier auch nicht so einen Wirbel veranstalten, sondern lediglich wissen, ob es eine Möglichkeit gibt die Daten schneller zu löschen, als zur Zeit der Fall ist.
Member: emeriks
emeriks Jan 19, 2016 at 12:59:33 (UTC)
Goto Top
@alexdroid
Ich stimme Dir zwar zu, was Deine Antwort zu @McKilroy betrifft. Du musst Dich aber nicht wundern, wenn Du ein paar Randinformationen nicht erwähnst. Ich gehe davon uas, dass man Dir hier nur helfen will. Und manche Vorschläge wären nicht oder anders gekommen, wenn gewisse Informationen von Anfang an bekannt gewesen wären.

Systempartition
Produktivsystem
Mailserver
stetiger Datenzuwachs
4 TB Volume

face-wink
Mitglied: 117471
117471 Jan 19, 2016 at 13:06:08 (UTC)
Goto Top
Zitat von @emeriks:

Wurde auf dem Volume u.U. die Dateikomprimierung aktiviert?
Welche Auswirkung soll das auf den Löschvorgang haben? Oder auf die Auflistung der Datei?

So rein pragmatisch würde ich mal sagen: Es könnte sich auf die Performance auswirken.

Ich habe übrigens gerade ein ähnliches Problem: Ein Kunde hat sich "ein neues Backup via Script" gebastelt und fleißig tagelang kopiert. Dabei hat er wohl nicht beachtet, dass in einem Quellordner sind, die ihre darübergeordneten Ordner beinhalten ("irgendwie" bekommt man so etwas wohl hin, indem man mit einem Apple auf einem SMB-Share "herumturnt") und jetzt wundert er sich, dass die 500GB Quelldaten nicht auf sein 4TB Ziel passen. So etwas nennt man wohl Rekursion face-smile

Die Zielordner kriege ich nicht gelöscht, was aber nicht dramatisch ist - zur Not lösche ich einfach die Shares auf dem NAS und richte sie noch mal neu ein (da ist ja nichts gelaufen).

Aktuell "experimentiere" ich allerdings gerade ein bisschen mit FilExile... - kennt das jemand?
Member: alexdroid
alexdroid Jan 19, 2016 at 13:06:59 (UTC)
Goto Top
@emeriks

Im Normalfall würde ich dir da voll und ganz zustimmen.
Jedoch wollte ich nicht wissen, auf was für einem Weg ich das Löschen der Dateien umgehen kann, sondern ich wollte einfach nur wissen,
ob jemand einen Tipp für mich hat, wie ich die Dateien schneller löschen kann. So auch die Ausgangsfrage.

Naja es soll hier auch kein Diskussionsthread werden. Ich werde es nun wohl so über Cygwin laufen lassen.
Member: Pjordorf
Pjordorf Jan 19, 2016 at 13:14:13 (UTC)
Goto Top
Hallo,

Zitat von @alexdroid:
einer Partition (4TB und nicht virtuell) die voll ist, wobei ohne die 60mio Errorlogs dann noch 3,75TB überbleiben
Und schon wieder eine neue vorher nicht bekannter Fakt. Und auch das deine Platte voll sei und du schon Probleme mit den laufenden Systemen dort hast weil eben nichts mehr frei ist....

Möglichkeit?
Systeme stoppen
Ordner umbenennen
Neuen Ordner auf einer anderen Platte angelegt und per MKLink dem Mailsystem zugänglich gemacht
Den alten Ordner eine Freigabe verpassen
Auf die Freigabe von einen externen Rechner zugreifen und von dort Löschen lassen. Das sollte dein Server dann nicht in die Knie zwingen und du hättest Zeit....

Gruß,
Peter
Mitglied: 122990
122990 Jan 19, 2016 updated at 13:20:15 (UTC)
Goto Top
VOTE for UNSUBSCRIBE ....Der Thread ist ja wohl ein Witz ...so ein Trara um nichts.

ob jemand einen Tipp für mich hat, wie ich die Dateien schneller löschen kann
Wie schon gesagt, die MFT will angepasst werden und das kostet nun mal Zeit.
Unter den Windows-Bordmitteln ist das hier die schnellste Methode... (del ist um das dreifache schneller als rd)
del /f /s /q C:\Ordner >nul 
rd /s /q C:\Ordner
Gruß grexit
Member: Lochkartenstanzer
Solution Lochkartenstanzer Jan 19, 2016 updated at 13:25:05 (UTC)
Goto Top
Zitat von @alexdroid:

Naja es soll hier auch kein Diskussionsthread werden. Ich werde es nun wohl so über Cygwin laufen lassen.


Dann solltest Du ggf rm -rf statt rm -rvf nehmen. "-v" nimmt man normerweise, um zu schauen für welche Dateien es z uspät ist. face-smile Die Ausgabe der zeilen bremst natürlich den Befehl. es soltle also ohne "-v" deutlich schneller gehen.

lks
Mitglied: 117471
117471 Jan 19, 2016 at 13:18:59 (UTC)
Goto Top
Zitat von @122990:

so ein Trara um nichts.

"Aufmerksamkeit" ist nicht "nichts" face-smile
Member: alexdroid
alexdroid Jan 19, 2016 at 13:19:16 (UTC)
Goto Top
Möglichkeit?
Systeme stoppen
Ordner umbenennen
Neuen Ordner auf einer anderen Platte angelegt und per MKLink dem Mailsystem zugänglich gemacht
Den alten Ordner eine Freigabe verpassen
Auf die Freigabe von einen externen Rechner zugreifen und von dort Löschen lassen. Das sollte dein Server dann nicht in die Knie zwingen und du hättest Zeit....

Der Ordner steht nicht mehr im Zusammenhang mit dem Mailsystem. Das hat auch nichts mit der Frage zu tun. Habe einen neuen Ordner angelegt, in dem neue Logfiles abgelegt werden. Es soll lediglich um das Löschen des vorhandenen Ordners gehen.



Gruß,
Peter
Member: emeriks
emeriks Jan 19, 2016 at 13:31:23 (UTC)
Goto Top
Postest Du bitte hier auch, wie lange es im Endeffekt gedauert hat? Nur dem Interesse wegen ...
Member: alexdroid
alexdroid Jan 19, 2016 at 13:41:18 (UTC)
Goto Top
Zitat von @emeriks:

Postest Du bitte hier auch, wie lange es im Endeffekt gedauert hat? Nur dem Interesse wegen ...

Ja werde ich machen, die Antwort wird aber wahrscheinlich erst in 2 Wochen kommen -_-
Member: McKilroy
McKilroy Jan 19, 2016 at 15:25:55 (UTC)
Goto Top
Alex, auch wenn es Dir nicht passt, dass ich versuchte Dir zu helfen, kann ich deine Kommentare so nicht stehen lassen.

In Deiner 1. Nachricht schreibst Du klar und deutlich:

"..ein Kunde hatte jahrelang ein Problem mit einer Software und diese hat sehr viele (60 MIO!!!!!!) Errorlogs (1KB) in einen Ordner geschrieben."

Wenn eine Platte jahrelang durchgehend läuft, dann ist eine Platte "betagt". Wenn Du mich hier blos stellen willst, und indirekt behauptest, dass es sich hier um eine neuwertige Platte handelt, dann bittesehr, ich habe einen breiten Rücken ...
Scheinbar hast Du es nicht kapiert, dass ich Dir ein zusätzliches Argument zum Abschalten des 'Rechners geben wollte.

Eine "Partition C: " als RAID 5 mit 4 TB ist wirklich höchst ungewöhnlich. Ja, ich habe dies tatsächlich übersehen und ging von einer "üblichen" Grüße aus. Sorry, es war wirklich mein Fehler meinerseits. Allerdings habe ich nicht damit gerechnet, dass Du mir daraus einen Strick drehen willst, was Dir ganz toll gelungen ist.

Auch möchte mich aufrichtig entschuldigen, dass ich Dir sogar 2 mal versucht habe zu helfen. Es wird definitiv nicht wieder vorkommen, zudem Du auf den Hinweis zu "BC" mit keiner Silbe eingingst. Ein winziges "Danke" von Dir zu erwarten, war ebenfalls ein Fehler von mir. Auch hier ein aufrichtiges "great excuse" von mir.

Dass Du Dich für Tipps äusserst selten bedankst, habe ich auch übersehen, ebenso, dass Du einen langen Schlips trägst, auf den man leicht treten treten kann. Und siehe da, mir ist es prompt passiert: Ich bin auf ihn getreten. Kommt auch ganz gewiss nicht mehr vor, denn ich habe nicht vor, mich mit Dir zu streiten. ICH bin ein friedliebender Mensch.

Danke für Deinen guten Wunsch, er ging bereits in Erfüllung.
Member: alexdroid
alexdroid Jan 19, 2016 at 15:47:51 (UTC)
Goto Top
@McKilroy

Danke für deine Rückmeldung.
Evtl. habe ich mich durch deine Ausdrucksweise angegriffen gefühlt. Ich weiß nicht, wie du das aufgenommen hättest, hätte jemand soetwas zu deiner Fragestellung gepostet.

Ich denke es ist nun genug diskutiert worden, was hier nichts zum Thema beiträgt. Ich entschuldige mich hiermit. Im Endeffekt sollten wir zusammenhalten.
Mitglied: 117471
117471 Jan 19, 2016 at 16:39:32 (UTC)
Goto Top
Der Vollständigkeit halber wollte ich noch mal anmerken, dass "mein" Löschvorgang mit FilExile ebenfalls erfolgreich war face-smile

Allerdings musste ich zusätzlich noch die Zugriffsberechtigungen im zu löschenden Ordner setzen und gelegentlich kommt es auch vor, dass robocopy - wenn es denn abgewürgt wird - "doofe" Dateiattribute zurücklässt, so dass ich rekursiv das System-, das ReadOnly- und das Hidden-Flag zurücksetzen musste.
Member: Pjordorf
Pjordorf Jan 19, 2016 at 18:02:19 (UTC)
Goto Top
Hallo,

Zitat von @alexdroid:
Der Ordner steht nicht mehr im Zusammenhang mit dem Mailsystem.
Habe ich nicht erkennen können. Sorry dafür. Warum nicht erkennen können? Deine Infos kommen Krümelweise...

Das hat auch nichts mit der Frage zu tun.
Naja, uns hast du im glauben gelassen das deine Ordner mit den 10 Millionen Dateien aus dein Mailsystem kommen / kamen....

Habe einen neuen Ordner angelegt, in dem neue Logfiles abgelegt werden
Auch das wussten wir bis dato nicht. Sorry. Nur das angeblich mehr Daten auf der Platte abgelegt werden als im gleichen Zeitraum gelöscht werden. Wobei dein NTFS für dein fast vollständig belegte 4 TB (RAID) Platte ja auch noch von dein Serversystem vorgehalten werden muss - was natürlich hier schon Leistung abverlangt, und dann noch deine Systemplatte.....

Es soll lediglich um das Löschen des vorhandenen Ordners gehen.
Dann lass einen externen rechner das machen per Freigabe. Dann hat dein Server nicht so viel zu tun und bleibt weder stehen noch beenden sich deine CMD Prozesse wegen RAM und dann HDD Platzmangel. Ich würde dem dazu eine eigene LAN Karte geben und diese mit 100 MBit/S betreiben, eben um das System bewusst zu bremsen, aber lauffähig zu halten bis etliche Millionen Dateien endgültig gelöscht sind....

Nur so ein paar Ideen....

Gruß,
Peter
Member: alexdroid
alexdroid Jan 19, 2016 at 21:45:18 (UTC)
Goto Top
Zitat von @Pjordorf:

Hallo,

Zitat von @alexdroid:
Der Ordner steht nicht mehr im Zusammenhang mit dem Mailsystem.
Habe ich nicht erkennen können. Sorry dafür. Warum nicht erkennen können? Deine Infos kommen Krümelweise...

Das hat auch nichts mit der Frage zu tun.
Naja, uns hast du im glauben gelassen das deine Ordner mit den 10 Millionen Dateien aus dein Mailsystem kommen / kamen....

Habe einen neuen Ordner angelegt, in dem neue Logfiles abgelegt werden
Auch das wussten wir bis dato nicht. Sorry. Nur das angeblich mehr Daten auf der Platte abgelegt werden als im gleichen Zeitraum gelöscht werden. Wobei dein NTFS für dein fast vollständig belegte 4 TB (RAID) Platte ja auch noch von dein Serversystem vorgehalten werden muss - was natürlich hier schon Leistung abverlangt, und dann noch deine Systemplatte.....

Vielen Dank für deine Antwort.
Ich habe meine Frage bewusst so gestellt. Alle anderen Informationen über das Serversystem sollten klar ausser Acht gelassen werden, da ich eh keine Chance habe das System herunterzufahren oder zu stoppen. Es ging alleine darum eine schnellere Lösung zu finden um die Dateien zu löschen.


Es soll lediglich um das Löschen des vorhandenen Ordners gehen.
Dann lass einen externen rechner das machen per Freigabe. Dann hat dein Server nicht so viel zu tun und bleibt weder stehen noch beenden sich deine CMD Prozesse wegen RAM und dann HDD Platzmangel. Ich würde dem dazu eine eigene LAN Karte geben und diese mit 100 MBit/S betreiben, eben um das System bewusst zu bremsen, aber lauffähig zu halten bis etliche Millionen Dateien endgültig gelöscht sind....

Nur so ein paar Ideen....

Der Vorschlag klingt für mich logisch. Derzeit läuft es via Cygwin und ich habe keinerlei Probleme mit der Auslastung des Servers.
Danke trotzdem für den Vorschlag.

MFG Alex
Member: gifox
gifox Jan 25, 2016 at 21:23:01 (UTC)
Goto Top
Ich stehe regelmäßig vor eine ähnlichen Problem, nun legut für mich ist es kein Problem, weils nur
ca 1 Mio Dateien sind, und da dauert das Löschen bei den betroffenen Systemen schon mal einige Zeit (1h .... max 3h). Da ich keine Dateien in diesen Ordner ausschliessen muss, erledige ich das einfach auf der Koandozeile mit DEL *.* /Q und warte ab bis es fertig ist.

Jede weitere Herusucherei über eine weitere Komandozeile oder anderes Tool ist absolut kontraproduktiv. Ich lass es einfach und es wird fertig. Schneller gehts halt nicht.

Wenn ich spezielle Filter berücksichtigen uss (dateigröße, Datum,..) bin ich am weitaus effizientesten, wenn ich mir ein kleines Programm in einer ordentlichen Programmiersprache schreibe (C oder sowas),
in einer Schleife (Findfirst / Findnext) wird eine Datei nach der anderen geprüft ob sie zu löschen ist, wenn ja sofort löschen, einen counter erhöhen und auf GUI anzeigen, ein processmessages und weiter gehts. Jedwede (Vor)sortierei führt bei einer so hohen Anzahl an Dateien praktisch immer ad absurdu.

60 Mio sind für NTFS nicht viel, nur sollte man sich bei dieser Anzahl bewusst sein, dass die meisten Algorithmen der diversen Dateimanager so schlecht skalieren, dass vorher das Universum EOL ist.
Klickibunti-Explodierer kommt ja oft schon bei ein paar tausend Dateien ins Schwitzen.
greetings
Member: emeriks
emeriks Jan 26, 2016 at 07:53:56 (UTC)
Goto Top
dass vorher das Universum EOL ist.
Diesen Spruch muss ich mir mal merken! lol