7
Massenimport ins SharePoint von ca. 320GB Daten (ca. 2 Millionen Dateien)
Hallo liebe Gemeinde,
ich hoffe Ihr könnte mir helfen bzw. Tipps geben.
Für unseren Migrationsprojekt müssen große Datenmengen von ca. 320 GB bzw. 2 Millionen Dateine umgezogen werden ins SharePoint in den Libraries & Co.
Hierfür haben wir zwei Optionen zur Verfügung was dem Export Format betrifft:
1. Als PST.
2. Als 1:1 Filesystem (quasi Copy & Paste).
Welche Möglichkeiten gibt es um diesen Vorgang zu beschleunigen? Kennt Ihr Tools die parallel und schnell Daten befüllen können? Mir wurde das Stichwort DataPump genannt. Weiß da jemand vielleicht was?`
Vielen Dank und viele Grüße
Readme
ich hoffe Ihr könnte mir helfen bzw. Tipps geben.
Für unseren Migrationsprojekt müssen große Datenmengen von ca. 320 GB bzw. 2 Millionen Dateine umgezogen werden ins SharePoint in den Libraries & Co.
Hierfür haben wir zwei Optionen zur Verfügung was dem Export Format betrifft:
1. Als PST.
2. Als 1:1 Filesystem (quasi Copy & Paste).
Welche Möglichkeiten gibt es um diesen Vorgang zu beschleunigen? Kennt Ihr Tools die parallel und schnell Daten befüllen können? Mir wurde das Stichwort DataPump genannt. Weiß da jemand vielleicht was?`
Vielen Dank und viele Grüße
Readme
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 222920
Url: https://administrator.de/contentid/222920
Printed on: April 25, 2024 at 11:04 o'clock
7 Comments
Latest comment
Was hast Du genau vor? Um was für Daten handelt es sich? Wie sehen die Metadaten aus? Woher kommen die Daten? Welche SP Version?
PST Dateien wirst Du nicht in den SharePoint laden können.
Wenn es Dir einfach nur um das kopieren der Daten geht reicht ein einfaches PowerShell Script.
Grüße
Stefan
PST Dateien wirst Du nicht in den SharePoint laden können.
Wenn es Dir einfach nur um das kopieren der Daten geht reicht ein einfaches PowerShell Script.
Grüße
Stefan
Hi.
Mir fällt auf, dass die Anzahl der Daten riesig, die Größe aber überschaubar ist. Kann es sein, dass bei vernünftigem Umgang (packen!) die Dateianzahl um den Faktor 10 oder mehr sinken könnte? Im Moment ist die Durchschnittsdatei ja nur 160 KB groß - als Durchschnittswert ein Witz.
Ober habt Ihr da wirklich 2 Millionen Dokumente a 160 KB?
Versteh mich richtig: ich würde erst dann über eine technische Lösung nachdenken, wenn Du sicher bist, dass die Datenstruktur nicht völliger Humbug ist, denn Humbug migriert man lieber nicht nach SharePoint. 2 Mio Minidateien sehen sehr verdächtig nach Humbug aus, mit Verlaub.
Ist nur eine Vermutung.
Mir fällt auf, dass die Anzahl der Daten riesig, die Größe aber überschaubar ist. Kann es sein, dass bei vernünftigem Umgang (packen!) die Dateianzahl um den Faktor 10 oder mehr sinken könnte? Im Moment ist die Durchschnittsdatei ja nur 160 KB groß - als Durchschnittswert ein Witz.
Ober habt Ihr da wirklich 2 Millionen Dokumente a 160 KB?
Versteh mich richtig: ich würde erst dann über eine technische Lösung nachdenken, wenn Du sicher bist, dass die Datenstruktur nicht völliger Humbug ist, denn Humbug migriert man lieber nicht nach SharePoint. 2 Mio Minidateien sehen sehr verdächtig nach Humbug aus, mit Verlaub.
Ist nur eine Vermutung.
Hallo Stefan,
es soll eine Datenmigration von einem Provider zum neuen Provider (SP 2010) stattfinden. Hierbei besteht keine direkte WAN Verbindung. Deshalb werden die Daten auf externen Datenträgern exportiert. Hierbei besteht die Möglichkeit das ganze als eine 1:1 Kopie des Filesystems zu exportieren oder als PST Dateien. Als Metadaten werden Berechtigungen mitgenommen bzw. über ein anderes Tool (z.B. mit ACL).
Bei den Daten handelt es sich um Public Folder mit geschätzten 40.000 Ordnern und 2 Millionen Dateien, von Office Dateien bis hin zu exotischen Files.
Gruß
Readme
es soll eine Datenmigration von einem Provider zum neuen Provider (SP 2010) stattfinden. Hierbei besteht keine direkte WAN Verbindung. Deshalb werden die Daten auf externen Datenträgern exportiert. Hierbei besteht die Möglichkeit das ganze als eine 1:1 Kopie des Filesystems zu exportieren oder als PST Dateien. Als Metadaten werden Berechtigungen mitgenommen bzw. über ein anderes Tool (z.B. mit ACL).
Bei den Daten handelt es sich um Public Folder mit geschätzten 40.000 Ordnern und 2 Millionen Dateien, von Office Dateien bis hin zu exotischen Files.
Gruß
Readme
Zitat von @DerWoWusste:
Hi.
Mir fällt auf, dass die Anzahl der Daten riesig, die Größe aber überschaubar ist. Kann es sein, dass bei
vernünftigem Umgang (packen!) die Dateianzahl um den Faktor 10 oder mehr sinken könnte? Im Moment ist die
Durchschnittsdatei ja nur 160 KB groß - als Durchschnittswert ein Witz.
Ober habt Ihr da wirklich 2 Millionen Dokumente a 160 KB?
.Hi.
Mir fällt auf, dass die Anzahl der Daten riesig, die Größe aber überschaubar ist. Kann es sein, dass bei
vernünftigem Umgang (packen!) die Dateianzahl um den Faktor 10 oder mehr sinken könnte? Im Moment ist die
Durchschnittsdatei ja nur 160 KB groß - als Durchschnittswert ein Witz.
Ober habt Ihr da wirklich 2 Millionen Dokumente a 160 KB?
Hi,
Deine Vermutung ist nicht ganz unbegründet. Mit Sicherheit sind einige Daten nur Humbug , wenn wir dies dem Kunden plausibel erklären. Leider müssen wir aber vorerst davon ausgehen, das wir zunächst eine 1:1 Kopie in der Staging Area machen werden/müssen.
Ok, um das Schlimmste abzuwenden, würde ich mir die Zeit nehmen und jdiskreport als Domänenadmin ausgeführt mal über die Datenbestände schauen lassen. jdiskreport zeigt Dir an, wo wie viele Dateien liegen (Anzahl).
Annahme: irgendwo hat ein Entwickler seine Sourcen liegen und hat alleine in einem Verzeichnis 1 Million Dateien - haben wir alles schon erlebt. Dieses dann packen und archivieren und gut ist.
Annahme: irgendwo hat ein Entwickler seine Sourcen liegen und hat alleine in einem Verzeichnis 1 Million Dateien - haben wir alles schon erlebt. Dieses dann packen und archivieren und gut ist.
Wir haben eine Auswertung des Gesamten Verzeichnisses vom Provider Mithilfe eines Scriptes auslesen lassen. Leider habe ich versäumt zu erwähnen, das es sich um Shares handelt mit den 2 Millionen Dateien und die Links zu diverse weiteren Shares und Dokumenten auf diese selbst verweisen. Das geht soweit, das diese in den Workflows des Unternehmens einen festen Bestandteil hat sowie die Berechtigungen.
Hinzu kommt, das eine 3-Level Berechtigung hinunter auf 2-Level Tiefe Anpassung notwendig ist vom Gesamtverzeichnis. Dies ist allerdings eine andere Baustelle.
Hinzu kommt, das eine 3-Level Berechtigung hinunter auf 2-Level Tiefe Anpassung notwendig ist vom Gesamtverzeichnis. Dies ist allerdings eine andere Baustelle.
Hallo,
ich sehe die Berechtigungen (Permissions) nicht als Metadaten.
Metadaten (Dokumenttyp, Wer wann geändert, Status…). Wenn ich alles so lese solltet Ihr Euch mal Gedanken über Information Architektur machen.
Du hast einen Hoster der Dir Dein SharePoint hostet und Du möchtest jetzt zu einen neuen SharePoint Hoster wechseln. Ist das richtig?
Kommst Du an die Content Datenbanken ran? Wenn ja kannst Du die Migration mit Hilfe der DBs machen (Export beim Alten und Import beim Neuem).
Kommst Du auf die CA der SharePoint Farm? Hier kannst Du ein Backup der Content DBs (mit SP Boardmitteln) durchführen und auf dem neuen Hoster wieder einspielen.
Wie sieht es mit dem Inhalt der Daten aus (URLs für Links können sich ändern…). ?
Du solltest auf jeden Fall einen genauen Migrationsplan erstellen. Die Datenmenge ist nicht viel. Nur es muss sich die Downtime (nicht Verfügbarkeit der Daten) sehr gering halten.
Viele Grüße
Stefan
ich sehe die Berechtigungen (Permissions) nicht als Metadaten.
Metadaten (Dokumenttyp, Wer wann geändert, Status…). Wenn ich alles so lese solltet Ihr Euch mal Gedanken über Information Architektur machen.
Du hast einen Hoster der Dir Dein SharePoint hostet und Du möchtest jetzt zu einen neuen SharePoint Hoster wechseln. Ist das richtig?
Kommst Du an die Content Datenbanken ran? Wenn ja kannst Du die Migration mit Hilfe der DBs machen (Export beim Alten und Import beim Neuem).
Kommst Du auf die CA der SharePoint Farm? Hier kannst Du ein Backup der Content DBs (mit SP Boardmitteln) durchführen und auf dem neuen Hoster wieder einspielen.
Wie sieht es mit dem Inhalt der Daten aus (URLs für Links können sich ändern…). ?
Du solltest auf jeden Fall einen genauen Migrationsplan erstellen. Die Datenmenge ist nicht viel. Nur es muss sich die Downtime (nicht Verfügbarkeit der Daten) sehr gering halten.
Viele Grüße
Stefan
