8
Windows MD5 Hash Generierung langsam
Moin,
wie generiert man am besten MD5 Hash unter Windows?
Debian:
Windows:
Statt 2 min. dauert es 6-8 min. auf dem gleichen Server. Linux greift via Netzwerk drauf zu. Unten wurde mal mit MSYS2 unter Windows getestet. Auch langsam.
PowerShell oder certutil verhalten sich ähnlich. Auf die Spitze getrieben erstellt md5sum von Linux den Hash via Netzwerk mit Zugriff auf die Windows Datei schneller, als lokal.
Die Datei hat ca 45 TB binär Daten.
mfg Crusher
wie generiert man am besten MD5 Hash unter Windows?
Debian:
Di 30. Jan 08:46:22 CET 2024
3215e7f7918060613818e4b328cdd839 /mnt/backuplenovo/Acronis_CB_Local/Zabbix-0A4872D3-1378-40F0-9DFC-CCC3DB4E9F85-5269ED32-FDAD-D425-0254-9AE4188EF8B3A-0024.tibx
Di 30. Jan 08:48:46 CET 2024Windows:
Tue Jan 30 07:37:03 CET 2024
3215e7f7918060613818e4b328cdd839 *Zabbix-0A4872D3-1378-40F0-9DFC-CCC3DB4E9F85-5269ED32-FDAD-D425-0254-9AE4188EF8B3A-0024.tibx
Tue Jan 30 07:43:22 CET 2024Statt 2 min. dauert es 6-8 min. auf dem gleichen Server. Linux greift via Netzwerk drauf zu. Unten wurde mal mit MSYS2 unter Windows getestet. Auch langsam.
PowerShell oder certutil verhalten sich ähnlich. Auf die Spitze getrieben erstellt md5sum von Linux den Hash via Netzwerk mit Zugriff auf die Windows Datei schneller, als lokal.
Die Datei hat ca 45 TB binär Daten.
mfg Crusher
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 61068834740
Url: https://administrator.de/contentid/61068834740
Printed on: April 27, 2024 at 19:04 o'clock
8 Comments
Latest comment
Moin,
Hast Du es mal mit Windows über Netzwerk versucht?
Ggf. Werden lokale Prozesse zugunsten des Netzwerks ausgebremst oder das caching über Netzwerk hat positive Effekte. Oder der Client hat mehr Rechenpower oder bekommt mehr zugeteilt.
lks
Hast Du es mal mit Windows über Netzwerk versucht?
Ggf. Werden lokale Prozesse zugunsten des Netzwerks ausgebremst oder das caching über Netzwerk hat positive Effekte. Oder der Client hat mehr Rechenpower oder bekommt mehr zugeteilt.
lks
Hi, ja hab ich. Via \\localhost
Ist schon echt krass. Everythin auch mal ausgestellt. Da läuft ansonsten Veeam B&R CE - zur Zeit ungenutzt - und Acronis Cypber Backup drauf.
certuil, md5sum unter Windows oder auch PowerShell sind alle langsam.
der Windows Server ist nur für Backups da. Von der Hardwareausstattung auch nicht gerade an der Grenze. Wäre es ein Vergleich zwischen jeweils lokalen Vorgängen unter Windows und Linux wäre es noch erklärbar.
Wenn ich aber md5sum unter debian auf dem Windows Share mache ist es wie gesagt deutlich schneller. Naja Muss ich wohl den Server "auseinandernehmen".
Ist schon echt krass. Everythin auch mal ausgestellt. Da läuft ansonsten Veeam B&R CE - zur Zeit ungenutzt - und Acronis Cypber Backup drauf.
certuil, md5sum unter Windows oder auch PowerShell sind alle langsam.
der Windows Server ist nur für Backups da. Von der Hardwareausstattung auch nicht gerade an der Grenze. Wäre es ein Vergleich zwischen jeweils lokalen Vorgängen unter Windows und Linux wäre es noch erklärbar.
Wenn ich aber md5sum unter debian auf dem Windows Share mache ist es wie gesagt deutlich schneller. Naja Muss ich wohl den Server "auseinandernehmen".
Nein, nicht via localhost auf der Kiste selbst, sondern per Windowsclient auf dem share. Sonst vergleichst Du Äpfel mit Birnen.
lks
Jo hab ich auch. Client via IP - 10 min. Dauer.
Auch mal das md5sum unter WSL benutzt?
Ach ka warum ich so auf MD5 eingeschworen war.
Ich wollte nur was rasches zum zusätzlichen validieren für rsync jobs.
Krypto nicht nötig. Gehe wohl auf xxxhash.
https://manpages.debian.org/testing/xxhash/xxhsum.1.en.html
https://sourceforge.net/projects/xxhsum-for-windows/
Immer noch langsamer, aber besser. Denke werde bei der Variante bleiben.
Ich wollte nur was rasches zum zusätzlichen validieren für rsync jobs.
Krypto nicht nötig. Gehe wohl auf xxxhash.
https://manpages.debian.org/testing/xxhash/xxhsum.1.en.html
https://sourceforge.net/projects/xxhsum-for-windows/
Immer noch langsamer, aber besser. Denke werde bei der Variante bleiben.
Moin,
Wird vermutllich dann an den Windows-Bibliotheken der Programmierumgebung liegen.
lks
Zitat von @Lochkartenstanzer:
Moin,
Wird vermutllich dann an den Windows-Bibliotheken der Programmierumgebung liegen.
lks
Moin,
Wird vermutllich dann an den Windows-Bibliotheken der Programmierumgebung liegen.
lks
Möglich. Gern ist eig. immutable Backup ohne Veeam, bzw. build-in support. Baue es nach. Hashsumme ggf. als zusätliche Validierung.
Werd wohl bei xxxhash bleiben. rsync arbeitet ansonsten auch zuverlässig. Reicht mir so.
