Top-Themen

AppleEntwicklungHardwareInternetLinuxMicrosoftMultimediaNetzwerkeOff TopicSicherheitSonstige SystemeVirtualisierungWeiterbildungZusammenarbeit

Aktuelle Themen

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

Massenimport ins SharePoint von ca. 320GB Daten (ca. 2 Millionen Dateien)

Frage Microsoft

Mitglied: Readme

Readme (Level 1) - Jetzt verbinden

25.11.2013 um 16:02 Uhr, 2304 Aufrufe, 7 Kommentare

Hallo liebe Gemeinde,

ich hoffe Ihr könnte mir helfen bzw. Tipps geben.

Für unseren Migrationsprojekt müssen große Datenmengen von ca. 320 GB bzw. 2 Millionen Dateine umgezogen werden ins SharePoint in den Libraries & Co.

Hierfür haben wir zwei Optionen zur Verfügung was dem Export Format betrifft:
1. Als PST.
2. Als 1:1 Filesystem (quasi Copy & Paste).

Welche Möglichkeiten gibt es um diesen Vorgang zu beschleunigen? Kennt Ihr Tools die parallel und schnell Daten befüllen können? Mir wurde das Stichwort DataPump genannt. Weiß da jemand vielleicht was?`


Vielen Dank und viele Grüße
Readme
Mitglied: Texas3110
25.11.2013 um 17:03 Uhr
Was hast Du genau vor? Um was für Daten handelt es sich? Wie sehen die Metadaten aus? Woher kommen die Daten? Welche SP Version?

PST Dateien wirst Du nicht in den SharePoint laden können.

Wenn es Dir einfach nur um das kopieren der Daten geht reicht ein einfaches PowerShell Script.

Grüße
Stefan
Bitte warten ..
Mitglied: DerWoWusste
25.11.2013, aktualisiert um 19:48 Uhr
Hi.

Mir fällt auf, dass die Anzahl der Daten riesig, die Größe aber überschaubar ist. Kann es sein, dass bei vernünftigem Umgang (packen!) die Dateianzahl um den Faktor 10 oder mehr sinken könnte? Im Moment ist die Durchschnittsdatei ja nur 160 KB groß - als Durchschnittswert ein Witz.
Ober habt Ihr da wirklich 2 Millionen Dokumente a 160 KB?

Versteh mich richtig: ich würde erst dann über eine technische Lösung nachdenken, wenn Du sicher bist, dass die Datenstruktur nicht völliger Humbug ist, denn Humbug migriert man lieber nicht nach SharePoint. 2 Mio Minidateien sehen sehr verdächtig nach Humbug aus, mit Verlaub.
Ist nur eine Vermutung.
Bitte warten ..
Mitglied: Readme
26.11.2013 um 12:45 Uhr
Hallo Stefan,

es soll eine Datenmigration von einem Provider zum neuen Provider (SP 2010) stattfinden. Hierbei besteht keine direkte WAN Verbindung. Deshalb werden die Daten auf externen Datenträgern exportiert. Hierbei besteht die Möglichkeit das ganze als eine 1:1 Kopie des Filesystems zu exportieren oder als PST Dateien. Als Metadaten werden Berechtigungen mitgenommen bzw. über ein anderes Tool (z.B. mit ACL).

Bei den Daten handelt es sich um Public Folder mit geschätzten 40.000 Ordnern und 2 Millionen Dateien, von Office Dateien bis hin zu exotischen Files.

Gruß
Readme
Bitte warten ..
Mitglied: Readme
26.11.2013, aktualisiert um 13:34 Uhr
Zitat von DerWoWusste:

Hi.

Mir fällt auf, dass die Anzahl der Daten riesig, die Größe aber überschaubar ist. Kann es sein, dass bei
vernünftigem Umgang (packen!) die Dateianzahl um den Faktor 10 oder mehr sinken könnte? Im Moment ist die
Durchschnittsdatei ja nur 160 KB groß - als Durchschnittswert ein Witz.
Ober habt Ihr da wirklich 2 Millionen Dokumente a 160 KB?
....
.

Hi,

Deine Vermutung ist nicht ganz unbegründet. Mit Sicherheit sind einige Daten nur Humbug , wenn wir dies dem Kunden plausibel erklären. Leider müssen wir aber vorerst davon ausgehen, das wir zunächst eine 1:1 Kopie in der Staging Area machen werden/müssen.
Bitte warten ..
Mitglied: DerWoWusste
26.11.2013, aktualisiert um 15:10 Uhr
Ok, um das Schlimmste abzuwenden, würde ich mir die Zeit nehmen und jdiskreport als Domänenadmin ausgeführt mal über die Datenbestände schauen lassen. jdiskreport zeigt Dir an, wo wie viele Dateien liegen (Anzahl).

Annahme: irgendwo hat ein Entwickler seine Sourcen liegen und hat alleine in einem Verzeichnis 1 Million Dateien - haben wir alles schon erlebt. Dieses dann packen und archivieren und gut ist.
Bitte warten ..
Mitglied: Readme
26.11.2013 um 15:25 Uhr
Wir haben eine Auswertung des Gesamten Verzeichnisses vom Provider Mithilfe eines Scriptes auslesen lassen. Leider habe ich versäumt zu erwähnen, das es sich um Shares handelt mit den 2 Millionen Dateien und die Links zu diverse weiteren Shares und Dokumenten auf diese selbst verweisen. Das geht soweit, das diese in den Workflows des Unternehmens einen festen Bestandteil hat sowie die Berechtigungen.

Hinzu kommt, das eine 3-Level Berechtigung hinunter auf 2-Level Tiefe Anpassung notwendig ist vom Gesamtverzeichnis. Dies ist allerdings eine andere Baustelle.
Bitte warten ..
Mitglied: Texas3110
26.11.2013 um 17:46 Uhr
Hallo,
ich sehe die Berechtigungen (Permissions) nicht als Metadaten.
Metadaten (Dokumenttyp, Wer wann geändert, Status…). Wenn ich alles so lese solltet Ihr Euch mal Gedanken über Information Architektur machen.
Du hast einen Hoster der Dir Dein SharePoint hostet und Du möchtest jetzt zu einen neuen SharePoint Hoster wechseln. Ist das richtig?
Kommst Du an die Content Datenbanken ran? Wenn ja kannst Du die Migration mit Hilfe der DBs machen (Export beim Alten und Import beim Neuem).
Kommst Du auf die CA der SharePoint Farm? Hier kannst Du ein Backup der Content DBs (mit SP Boardmitteln) durchführen und auf dem neuen Hoster wieder einspielen.
Wie sieht es mit dem Inhalt der Daten aus (URLs für Links können sich ändern…). ?
Du solltest auf jeden Fall einen genauen Migrationsplan erstellen. Die Datenmenge ist nicht viel. Nur es muss sich die Downtime (nicht Verfügbarkeit der Daten) sehr gering halten.

Viele Grüße
Stefan
Bitte warten ..
Neuester Wissensbeitrag
Humor (lol)

Linkliste für Adventskalender

(3)

Information von nikoatit zum Thema Humor (lol) ...

Ähnliche Inhalte
Datenschutz
Daten zu Surfverhalten von Millionen Deutschen als kostenlose Probe

Link von magicteddy zum Thema Datenschutz ...

Cloud-Dienste
gelöst SharePoint Online und Daten Backup (2)

Frage von malika zum Thema Cloud-Dienste ...

VB for Applications
VBS Script zum versenden mehrerer Verknüpfungen zu Dateien per Lotus Notes

Frage von Sentinel87 zum Thema VB for Applications ...

Heiß diskutierte Inhalte
Windows Server
DHCP Server switchen (25)

Frage von M.Marz zum Thema Windows Server ...

SAN, NAS, DAS
gelöst HP-Proliant Microserver Betriebssystem (14)

Frage von Yannosch zum Thema SAN, NAS, DAS ...

Grafikkarten & Monitore
Win 10 Grafikkarte Crash von Software? (13)

Frage von Marabunta zum Thema Grafikkarten & Monitore ...

Windows 7
Verteillösung für IT-Raum benötigt (12)

Frage von TheM-Man zum Thema Windows 7 ...