9
Datenarchivierung Script oder Programm ?
Guten Abend,
ich brauche mal einen gedanklichen Anschubser. 
Ausgangspunkt ist eine Datenstruktur aus der einmal im Jahr alle Dateien archiviert werden sollen die älter als zwei Jahre sind.
Ich stelle mir das so vor, das die zu archivierende Datei im ersten Schritt auf den Archivserver kopiert (mit ACL) und anschließend die Originaldatei mit einer Textdatei desselben Namens überschrieben wird. Diese Textdatei soll nur das Wort "archiviert" enthalten. Die User sollen damit sofort ersehen können ob eine Datei im Archiv ist oder nicht.
Für die Umsetzung denke ich an ein Script (Batch, powershell) , eine Access Applikaiton oder ein kleines .NET Programm.
Nun meine Frage an die die ähnliche Dinge schon programmiert haben.
Bei der Erstarchivierung sind 700000 Dateien betroffen.
Ist das so machbar oder sprechen aus eurer Erfahrung Gründe dagegen?
Ist es sinnvoll erst alle betroffenen Dateien zu ermitteln und in eine DB zu schreiben, um diese anschließend abzuarbeiten mit
einer Schleife:
0. Prüfung auf Textdatei mit Inhalt "archiviert" -> wenn ja auslassen
1. Datei kopieren auf Archivserver -> prüfung ob ok
2. Ursprungsdatei mit gleichnamiger Textdatei mit Inhalt "archiviert" überschreiben -> prüfung ob ok -> log
3. nächsten Datensatz -> wieder zu 0.
Woran sollte man bei einer solchen Aufgabe aus eurer Sicht noch denken?
Auf welche Fehler zum Beispiel prüfen?
Grüße vom it-frosch
Für die Umsetzung denke ich an ein Script (Batch, powershell) , eine Access Applikaiton oder ein kleines .NET Programm.
Nun meine Frage an die die ähnliche Dinge schon programmiert haben.
Bei der Erstarchivierung sind 700000 Dateien betroffen.
Ist das so machbar oder sprechen aus eurer Erfahrung Gründe dagegen?
Ist es sinnvoll erst alle betroffenen Dateien zu ermitteln und in eine DB zu schreiben, um diese anschließend abzuarbeiten mit
einer Schleife:
0. Prüfung auf Textdatei mit Inhalt "archiviert" -> wenn ja auslassen
1. Datei kopieren auf Archivserver -> prüfung ob ok
2. Ursprungsdatei mit gleichnamiger Textdatei mit Inhalt "archiviert" überschreiben -> prüfung ob ok -> log
3. nächsten Datensatz -> wieder zu 0.
Woran sollte man bei einer solchen Aufgabe aus eurer Sicht noch denken?
Auf welche Fehler zum Beispiel prüfen?
Grüße vom it-frosch
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 154386
Url: https://administrator.de/contentid/154386
Printed on: April 25, 2024 at 03:04 o'clock
9 Comments
Latest comment
Moin it-frosch,
der "Plan" scheint mir noch nicht die erforderliche Reife zur handwerklichen Umsetzung zu haben.
Okay, ich kann die (vermutliche) Argumentation verstehen "Die 700000 Dateien nehmen uns nur unnötigen Platz weg auf den Shares und es macht wenig Sinn, die bei der täglichen Datensicherung hin- und herzuschaufeln".
Was aber den geneigten End-DAU interessieren wird: Was kann er/sie denn mit der Information "is' im Archiv" anfangen?!?
Ist dann da noch eine Telefonnummer vom Hausmeister beigelegt oder ein Daten-Rücklade-Formular abzuzeichnen vom Kostenstellenleiter?
Es gibt doch heutzutage schon Möglichkeiten, diese "darf-oder-will-ich-nicht-ganz-wegbratzen-Daten" irgendwo strukturiert zu speichern, wo
Mir missfällt an deinem Ansatz insbesondere
Grüße
Biber
der "Plan" scheint mir noch nicht die erforderliche Reife zur handwerklichen Umsetzung zu haben.
Okay, ich kann die (vermutliche) Argumentation verstehen "Die 700000 Dateien nehmen uns nur unnötigen Platz weg auf den Shares und es macht wenig Sinn, die bei der täglichen Datensicherung hin- und herzuschaufeln".
Was aber den geneigten End-DAU interessieren wird: Was kann er/sie denn mit der Information "is' im Archiv" anfangen?!?
Ist dann da noch eine Telefonnummer vom Hausmeister beigelegt oder ein Daten-Rücklade-Formular abzuzeichnen vom Kostenstellenleiter?
Es gibt doch heutzutage schon Möglichkeiten, diese "darf-oder-will-ich-nicht-ganz-wegbratzen-Daten" irgendwo strukturiert zu speichern, wo
- es ein Repository gibt mit komfortabler Suchfunktion und
- Platz ohne Ende und
- ein feingranulares Berechtigungskonzept (wer darf was sehen, uploaden, downloaden, updaten..) gibt
- und wo dann aber der Zugriff sehr langsam ist verglichen mit einem Gruppenlaufwerk
Mir missfällt an deinem Ansatz insbesondere
- wer legt denn fest, was ins Archiv soll/muss/darf/kann? Nur die platte Regel "älter als 2 Jahre" bzw. "2 Jahre nicht geändert"?!?
- ich habe dann quasi die "richtig aktuellen und richtig gültigen" Dateien NICHT allgemein zugänglich, sondern an einzelnen User-ACLs hängen?
- und wie geht ihr mit Dokumenten um, die quasi "Veröffentlicht" werden müssten/für alle/mehrere MA verbindlich sind? Werden die dann bei Bedarf per Mail von MA A an MA B geschickt?
- Wenn etwas einem Benutzer auf seinem Homeshare abgelegt wird UND spürbar Heu bzw. frisst UND NIE angefasst wird--> Liste mit allen potentiell vergessenen Daniel-Küblböck-Videoclip-Dateien an den User generieren mit der Ansage "Übernächsten Donnerstag isses wech".
Grüße
Biber
..mal ab davon: wie groß kann die Datenmenge der "älter als 2 Jahre"-Daten schon sein? oder Hängt ein riesiges DMS dahinter? kann ja nicht sein, denn da könnte man ja auslagern....
Moin Biber,
erst einmal danke für die prompte Reaktion.
Die von dir angesprochenen Lösungen haben den entscheidenden Nachteil das sie etwas kosten. Du brauchst dazu nichts zu sagen.
Allerdings nur nach Freischaltung durch die Hotline und das auch nur zeitweise.
Da die Berechtigungen mit kopiert werden sollen brauchen Sie keine Freigabe. Sie kommen nur an die Daten auf die sie Zugriff haben bzw. hatten.
Meine Idee erfüllt übrigens viele deiner Featurelist:
Im Archiv findet er an der selben Stelle die originale Datei.
Ich stimme dir zur das das eine gefrickelte Lösung ist. Sie würde aber unsere Anforderungen:
- Verringerung des mit "toten" Daten belegten Speicherplatzes
- Verringerung des Datensicherungsvolumens
- ohne Investitionen möglich
erfüllen.
Grüße vom it-frosch
erst einmal danke für die prompte Reaktion.
Die von dir angesprochenen Lösungen haben den entscheidenden Nachteil das sie etwas kosten.
Du brauchst dazu nichts zu sagen.Was aber den geneigten End-DAU interessieren wird: Was kann er/sie denn mit der Information "is' im Archiv" anfangen?!?
Die Benutzer werden über den Sinn der Archivierung informiert. Sie wissen dann auch das Sie bei Bedarf lesend auf das Archiv zugreifen können.Allerdings nur nach Freischaltung durch die Hotline und das auch nur zeitweise.
Da die Berechtigungen mit kopiert werden sollen brauchen Sie keine Freigabe. Sie kommen nur an die Daten auf die sie Zugriff haben bzw. hatten.
wer legt denn fest, was ins Archiv soll/muss/darf/kann? Nur die platte Regel "älter als 2 Jahre" bzw. 2 Jahre nicht geändert"?!
Angedacht ist vorerst die platte Regel "letztes Zugriffsdatum älter als 2 Jahre". Termin nach dem Jahresabschluss.ich habe dann quasi die "richtig aktuellen und richtig gültigen" Dateien NICHT allgemein zugänglich, sondern an einzelnen User-ACLs hängen?
Die Zugriffsberechtigungen sind im Archiv identisch mit denen der originalen Filestruktur. Hatte ich vielleicht etwas undeutlich geschrieben.und wie geht ihr mit Dokumenten um, die quasi "Veröffentlicht" werden müsste/für alle/mehrere MA verbindlich sind? Werden die dann bei Bedarf per Mail von MA A an >MA B geschickt?
Das ist eine guten Hinweis. Bei uns liegen zwar alle Dokumente im Intranet aber es sollte bedacht werden.Wenn etwas einem Benutzer auf seinem Homeshare abgelget wird UND spürbar Heu bzw. frisst UND NIE angefasst wird--> Liste mit allen potentiell vergessenen >Daniel-Küblböck-Videoclip-Dateien an den User generieren mit der Ansage "Übernächsten Donnerstag isses wech".
Wenn der Benutzer die Daten über 2 Jahre liegen lässt dann würden sie nach der bestehenden Logik ins Archiv wandern.Meine Idee erfüllt übrigens viele deiner Featurelist:
* es ein Repository gibt mit komfortabler Suchfunktion und -
Der Benutzer findet seine Daten dort wo er sie abgelegt hat. Inder Originalen Filestruktur liegt an der Stelle halt nur eine Hinweisdatei.Im Archiv findet er an der selben Stelle die originale Datei.
* ein feingranulares Berechtigungskonzept (wer darf was sehen, uploaden, downloaden, updaten..) gibt
Die Berechtigungen sind denen in der originalen Filestruktur identisch. (zumindestens bei Erstellung) Die Dateien werden mit ihren Zugriffsrechten übertragen. * und wo dann aber der Zugriff sehr langsam ist verglichen mit einem Gruppenlaufwerk
Der Archivserver bekommt eine langsame LAN Anbindung und ist damit spürbar langsamer.Ich stimme dir zur das das eine gefrickelte Lösung ist. Sie würde aber unsere Anforderungen:
- Verringerung des mit "toten" Daten belegten Speicherplatzes
- Verringerung des Datensicherungsvolumens
- ohne Investitionen möglich
erfüllen.
Grüße vom it-frosch
Hallo RottenSon667,
Grüße vom it-frosch
wie groß kann die Datenmenge der "älter als 2 Jahre"-Daten schon sein?
Bei der Erstarchivierung wären es 300GB.Grüße vom it-frosch
Moin it-frosch,
ich werde mich NICHT von der Aussage "darf nix kosten" (die bestimmt nicht von dir kommt) zu einem ausschweifenden Monolog hinreissen lassen.
Aber dennoch - Qualität hat ihren Preis. Und umgekehrt - was du für lau aus alten Wäscheklammern basteln kannst....
Was ich den eigentlichen Quantensprung finde bei irgendeiner beliebigen Lösung mit Repository/Ein-/Auschecken etc ist
Ich will dir deine Baumarkt-Lösung ja nicht madig machen., aber.....
Sagen wir so .. der Schritt "Freischaltung durch die Hotline" verursacht versteckte Kosten gleich an drei Stellen
Grüße
Biber
ich werde mich NICHT von der Aussage "darf nix kosten" (die bestimmt nicht von dir kommt) zu einem ausschweifenden Monolog hinreissen lassen.
Aber dennoch - Qualität hat ihren Preis. Und umgekehrt - was du für lau aus alten Wäscheklammern basteln kannst....
Was ich den eigentlichen Quantensprung finde bei irgendeiner beliebigen Lösung mit Repository/Ein-/Auschecken etc ist
- die fachliche Verantwortung für das Erstellen einen "neuen" Datei und das In-den-Hintergrund-Stellen einer älteren Datei liegt bei dem, der es fachlich und inhaltlich beurteilen kann. Nicht bei uns Admin-Kaspern, die nur erkennen können "älter als" oder "viel zu gross"
- ich habe bei jedem funktionierenden Repository-Ansatz eine Versionierung. Und das ist ein qualitativer Unterschied, ob ich eine Datei/ein Verzeichnis "archivieren" kann, wenn und weil es drei Nachfolge-Versionen gibt oder ob ich etwas ins Archiv schicke, wenn und weil es 2 Jahre unverändert rumliegt.
Ich will dir deine Baumarkt-Lösung ja nicht madig machen., aber.....
Sagen wir so .. der Schritt "Freischaltung durch die Hotline" verursacht versteckte Kosten gleich an drei Stellen
- Arbeitszeit bei der Hotline wird verbrannt
- Arbeitszeit beim DAU, der an die archivierten Daten will, fällt an
- und der zweite Punkt führt möglicherweise zu "heimlichen" lokalen [Un-]Sicherungen und Privat-Archiven auf Sticks und WebSpace-Speichermedien...
Grüße
Biber
bei den heutigen Preisen für Speicherplatz halte ich da den Gewinn für zu klein. Einer meiner ex-Kunden hatte 1,2Tb Nutzdaten, die wir des Nächtens Voll gesichert haben. 5 Tage, Wöchentlich und Monatlich. Ein ordentliches NAS mit ausreichend großem RAID5-Verbund packt das locker. Ich würde die HDD-Kapazitäten vergrößern und eine gescheite Sicherungslösung implementieren, statt Entwicklungszeit in ein unkomfortables System zu investieren, das - wie Biber schon sagte - zu einer erheblichen Verbrennung von Arbeitszeit führt.
Alternativ kannst du den Sicherungsserver, den du erwähntest, auch durch ein günstiges NAS ersetzen (Kostenersparniss), Freigaben mit "nur-lesen für User" darauf ablegen und per Batch da drauf kopieren und - jetzt kommts - Links auf den neuen Speicherort anstelle der Originaldatei hinterlassen. Und schon hast du die Zeit für die Hotline, die Anrufe, das Sicherungsvolumen, den toten Platz usw. erschlagen.
Aber wie gesagt würde ich eher die Hardware auf die Platzanforderungen anpassen.
MfG Maik
Alternativ kannst du den Sicherungsserver, den du erwähntest, auch durch ein günstiges NAS ersetzen (Kostenersparniss), Freigaben mit "nur-lesen für User" darauf ablegen und per Batch da drauf kopieren und - jetzt kommts - Links auf den neuen Speicherort anstelle der Originaldatei hinterlassen. Und schon hast du die Zeit für die Hotline, die Anrufe, das Sicherungsvolumen, den toten Platz usw. erschlagen.
Aber wie gesagt würde ich eher die Hardware auf die Platzanforderungen anpassen.
MfG Maik
Moin Biber,
ich werde die ganze Sache noch mal überdenken da deine Argumente nicht von der Hand zu weisen sind.
Und die Wildsicherungen hatte ich sowieso schon im Hinterkopf.
Zudem kommt bei meiner "Baumarkt-Idee" noch dazu dass die Zugriffsberechtigungen zwischen originaler Filestrukur und Archiv auseinanderdriften werden.
Somit lege ich Wäscheklammern jetzt wieder in den entsprechenden Korb.
Danke für die Hinweise.
Grüße vom it-frosch
ich werde die ganze Sache noch mal überdenken da deine Argumente nicht von der Hand zu weisen sind.
Und die Wildsicherungen hatte ich sowieso schon im Hinterkopf.
Zudem kommt bei meiner "Baumarkt-Idee" noch dazu dass die Zugriffsberechtigungen zwischen originaler Filestrukur und Archiv auseinanderdriften werden.
Somit lege ich Wäscheklammern jetzt wieder in den entsprechenden Korb.
Danke für die Hinweise.
Grüße vom it-frosch
Hallo Maik,
Ich glaube du hast überlesen das es sich nicht um Datensicherung handelt.
Trotzdem danke für dein Anteil am Brainstorming.
Grüße vom it-frosch
Ich würde die HDD-Kapazitäten vergrößern und eine gescheite Sicherungslösung implementieren
Du scheinst ja unsere Umgebung gut zu kennen um gleich einen Lösungsvorschlag zu bringen. Ich glaube du hast überlesen das es sich nicht um Datensicherung handelt.
Trotzdem danke für dein Anteil am Brainstorming.
Grüße vom it-frosch
Natürlich kenne ich die Umgebung NICHT. Mir verschloss sich nur etwas der Sinn, da du ja nur von freiem Platz geredet hast, und von einzusparendem Sicherungsvolumen. Dagegen habe ich dir lediglich einige Argumente dargelegt. Ferner glaube ich dass du den folgenden Passus überlesen hast:
"Alternativ kannst du den Sicherungsserver, den du erwähntest, auch durch ein günstiges NAS ersetzen (Kostenersparniss), Freigaben mit "nur-lesen für User" darauf ablegen und per Batch da drauf kopieren und - jetzt kommts - Links auf den neuen Speicherort anstelle der Originaldatei hinterlassen. Und schon hast du die Zeit für die Hotline, die Anrufe, das Sicherungsvolumen, den toten Platz usw. erschlagen."
Und bitte für meinEN Anteil am Brainstorming. Aus deiner Fragestellung ging leider nicht hervor dass man dir keine Lösungsvorschläge unterbreiten darf. Entschuldige bitte.
MfG Maik
"Alternativ kannst du den Sicherungsserver, den du erwähntest, auch durch ein günstiges NAS ersetzen (Kostenersparniss), Freigaben mit "nur-lesen für User" darauf ablegen und per Batch da drauf kopieren und - jetzt kommts - Links auf den neuen Speicherort anstelle der Originaldatei hinterlassen. Und schon hast du die Zeit für die Hotline, die Anrufe, das Sicherungsvolumen, den toten Platz usw. erschlagen."
Und bitte für meinEN Anteil am Brainstorming. Aus deiner Fragestellung ging leider nicht hervor dass man dir keine Lösungsvorschläge unterbreiten darf. Entschuldige bitte.
MfG Maik
