rebuhleiv
Goto Top

Gute Lösung für Dateiablage für kleines Unternehmen: Cloud vs. lokaler Server?

Hallo!

Wir haben eine kleine Firma mit 5 Mitarbeitern im Webagentur bereich.

Aktuell bauen wir eine Dateiablage auf und nach einigen Wochen Recherche und jede Menge testen können wir folgendes sagen:

Anforderungen:
- Live Collaboration (Google Drive) bei ausgewählten Dokumenten wünschenswert
- Lokale Verfügbarkeit (Sync Clients) bei ausgewählten Dokumenten wünschenswert
- Lauffähigkeit auf Windows und Mac
- Zugriff auch von außerhalb der Firma sowie von mobilen Endgeräten
- Rollen- und Rechtesystem

Probleme:
- Alle Sync Clients, die wir getestet haben (Google Drive, OneDrive, Dropbox, OwnCloud) haben ein Performance-Problem ab Dateibeständen > 1.000.000 Dateien. Die Clients werden unbenutzbar
- Wählt man einen Server per Netzlaufwerk / RDP, fehlen etliche der Anforderungen oberhalb

Die Dateimenge von 1.000.000 Dateien kommt schnell zusammen (nicht nur bei uns, sondern bei jedem Unternehmen).
Wir liebäugeln auf jeden Fall mit der Cloud.
Wie löst Ihr solche Probleme? Welche Dateiablage habt Ihr gewählt?

Content-Key: 309328

Url: https://administrator.de/contentid/309328

Ausgedruckt am: 19.03.2024 um 02:03 Uhr

Mitglied: tomolpi
tomolpi 08.07.2016 um 23:21:10 Uhr
Goto Top
Wir haben SharePoint, (mit Ad Anbindung, als Rechte kein Problem).

Hast du dir schonmal OwnCloud angeschaut? Selber hosten find ich immer besser, du hast alle Daten bei dir und die volle Kontrolle darüber.

tomolpi
Mitglied: rebuhleiv
rebuhleiv 08.07.2016 um 23:31:10 Uhr
Goto Top
Hallo tomolpi!

Danke für Deine Antwort!

OwnCloud hat leider ähnliche Probleme: https://github.com/owncloud/core/issues/7072
Oder hat das jemand im Produktiveinsatz mit einer Dateianzahl von ca. 2.000.000 Dateien?

Zu SharePoint: Das funktioniert doch nur mit AD und nicht mit lokalen Sync Clients, oder liege ich falsch?
Mitglied: tomolpi
tomolpi 08.07.2016 um 23:36:44 Uhr
Goto Top
Sorry, unter Office 2010 hatte man noch SharePoint Workspace, der könnte offline...

Ansonsten vielleicht noch Seafile mal anschauen?
Mitglied: Sheogorath
Lösung Sheogorath 09.07.2016 um 01:08:58 Uhr
Goto Top
Moin,

OwnCloud hat leider ähnliche Probleme: https://github.com/owncloud/core/issues/7072

Das Issue kommt primär daher, dass OwnCloud ein paar Dinge "hintenrum" ineffizient macht. Gerade was die Rechteverwaltung angeht. Da Owncloud über WebDav geht, hast du außerdem immer Probleme mit der langsamen Übertragung bei allen Dateien. Immer. Das hast du aber bei allen "Cloud" Lösungen, die du genannt hast, da sich alle auf diesen Übertragungsweg konzentrieren. Was man daraus wieder lernt ist, dass HTTP zum Dateitransfer nie gedacht war aber oft dazu verdonnert wurde.

Wenn du hohe Datenraten möchtest hast du also nur 2 Möglichkeiten:
1. Horizontal skalieren, wie es die OwnCloud-Doku hier oder wenigstens hier zeigt
2. Ein anderes Protokoll wählen und auf einige Features verzichten. Das bedeutet dann halt wieder klassischer Fileserver, der NFS, SMB und Co spricht.

Meine aktuelle OwnCloud, die ich betreue liegt übrigens zwischen den beiden verlinkten Lösungen. Von daher, ja, Owncloud kann mit soviel Daten umgehen, wenn diese Gleichmäßig auf viele User verteilt sind. Alles andere ist kaputt. Aber das wirst du halt auch bei Protokollen wie SMB merken. Auch hier gilt viele Dateien gleich viel Overhead und während du mit 40MB Dateien noch über 40MB/s über dein Netzwerk schieben konntest, bist du bei 1MB Dateien schon unter dieser Datenrate. Deswegen lautet die Devise: Erst zippen, dann kopieren ;)

Gruß
Chris
Mitglied: rebuhleiv
rebuhleiv 09.07.2016 aktualisiert um 01:28:19 Uhr
Goto Top
Hallo Chris!

Das hilft mir sehr weiter.

Gerade eben habe ich das hier entdeckt: https://github.com/owncloud/client/issues/4341
Daran arbeiten die zwar noch nicht, aber das wäre doch eine sehr smarte Lösung des Problems, oder?

Oder ist die "Berechnung" von Platzhalter-Dateien ebenfalls ab beispielsweise 1.000.000 mit Sync Clients nicht stemmbar?

Hier ebenfalls spannend (Dropbox): https://blogs.dropbox.com/tech/2016/05/going-deeper-with-project-infinit ...
Mitglied: StefanKittel
StefanKittel 09.07.2016 um 08:51:22 Uhr
Goto Top
Moin,

<OT>
wie kommt man als so kleine Firma auf 1.000.000+ Dateien?
</OT>

Das Problem sind eigentlich nur die SyncClients.
Der Server hat dafür eine Datenbank, aber das übertragen der Listen und das lokale Abgleichen der Dateien dauert bei großer Dateizahl sehr lange.

Wenn Ihr Euch allerdings nur in einer Online-Struktur bewegt und einzelne Dateien bearbeitet, egal ob web oder webdav, sollte die Anzahl kein Problem sein.

Owncloud, QNAP-NAS, Lokaler Fileserver
Zugriff via web und/oder webdav

Datensicherung und Datenschutz nicht vergessen.

Stefan
Mitglied: transocean
transocean 09.07.2016 um 09:19:47 Uhr
Goto Top
Moin,

hier noch eine Alternative: https://nextcloud.com/

Gruß

Uwe
Mitglied: rebuhleiv
rebuhleiv 09.07.2016 aktualisiert um 22:19:47 Uhr
Goto Top
wie kommt man als so kleine Firma auf 1.000.000+ Dateien?

Wir sind eine Webagentur. Als Beispiel hat eine "normale" Shopware-Installation in etwa 30.000 Dateien.

Wenn Ihr Euch allerdings nur in einer Online-Struktur bewegt und einzelne Dateien bearbeitet, egal ob web oder webdav, sollte die Anzahl kein Problem sein.

Das kommt leider nicht in Frage, da wir auch offline und außerhalb der Firma ohne große Latenz arbeiten müssen.

Das Problem sind eigentlich nur die SyncClients.

Das sehe ich nun auch so, Danke für die Einschätzung!

Ich bin momentan dabei, mit Hilfe eines Testscripts 3 Millionen Dateien mit minimaler Dateigröße zu erzeugen
und damit alle verfügbaren Sync Clients (ggf. mit aktiviertem Selective Sync) zu füttern.
Vielleicht "überlebt" ja einer.

Die meisten Chancen räume ich odrive und seafile ein.

Hättet Ihr noch einen Tipp?
Mitglied: StefanKittel
StefanKittel 09.07.2016 um 22:24:56 Uhr
Goto Top
Hallo,

mal eine ganz andere Idee.
Warum nutzt Ihr nicht GIT oder ein anderes Repository-System?

Wir nutzen das für alle Software- und Webprojekte.
Bei den Webprojekten ist es nur immer fummelig die Datenbank dazuzubekommen.

Dann habt man neben der Ablage auch gleiche eine Versionierung.
Muss ja nicht github sein. Kann man ja auch selber hosten.

Oder die Projekte zippen. Dann ist es nur eine Datei mit 200MB statt 30.000 mit 3GB.

Stefan
Mitglied: rebuhleiv
rebuhleiv 09.07.2016 um 23:29:09 Uhr
Goto Top
Hallo Stefan!

Danke für die Idee.

Ich weiß aber über Git, dass das nur bedingt mit sehr großen Dateien arbeitet.
Habe da wirklich meine Zweifel, ob das Repo mit 2 Millionen Dateien mit Dateien bis zu 20 GB vernünftig funktioniert.

Die Projekte zu zippen ist finde ich eine Notlösung, vorallem wenn man produktiv regelmäßig auf die Dateien zugreifen will.
Mitglied: StefanKittel
StefanKittel 09.07.2016 um 23:32:07 Uhr
Goto Top
Hallo,

nicht ein großes Git.
Sondern für jedes Projekt ein eigenes GIT.

Stefan
Mitglied: Sheogorath
Sheogorath 10.07.2016 aktualisiert um 17:37:16 Uhr
Goto Top
Moin,

Hier kann ich Stephan nur zustimmen. Bei Software Entwicklung willst nicht auf Filelösungen wie Owncloud oder ähnliches zurückgreifen. Software hat viel mit Integrität zu tun, von daher sind die Projekte auch nicht so einfach zu synchronisieren. Hierfür gibt es eben wie schon angesprochen Lösungen wie git, TFS, Subversion und Co.

Insbesondere kann man hier eben auch exzessiv Testen bevor man irgendwas in den Produktivbetrieb gibt etc. Das ist alles integriert und muss nicht über sehr dubiose Scripte irgendwie wieder zurechtgebogen werden.

Owncloud und Co sind eigentlich nur für typische Standalone Daten gedacht. Also Daten, die nicht voneinander abhängen und schon gar nicht von irgendwelchen Versionen von bestimmten Dateien.

Du solltest also vielleicht den Grundsetup nochmal etwas überdenken. Aber naja, das ist dir überlassen ^^ Hauptsache es kommt am Ende was funktionierendes dabei heraus. Denn so komisch es klingt: Ich habe schon ziemlich krasse Ergebnisse aus total konfusen Setups gesehen ;)

Gruß
Chris

PS: git kann auch mit größeren Dateimengen umgehen, die Repos wachsen eben entsprechend ;)
Mitglied: rebuhleiv
rebuhleiv 11.07.2016 um 13:39:25 Uhr
Goto Top
Hallo!

Ich danke Euch für Eure Einschätzung!

Dabei steht für mich jetzt schon mal fest, dass Webprojekte sowie Backups nicht in die Cloud-Infrastruktur wandern.

Trotzdem haben wir dann aber immer noch ca. 1.000.000 Dateien.

Am Wochenende habe ich mal ein Testscript geschrieben, das 1.000.000 1 kb Dateien generiert
und damit alle Clients (Google Drive, OneDrive, Seafile, Dropbox, odrive, Insync) gefüttert.
Fazit: Nirgendwo ist ein produktives Arbeiten möglich.

Für mich ziehe ich daraus folgenden Schluss:
- Alles bis 300.000 Dateien abwickelbar über Sync-Clients
- Alles darüber abwickelbar als Netzlaufwerk (WebDav oÄ)