Top-Themen

AppleEntwicklungHardwareInternetLinuxMicrosoftMultimediaNetzwerkeOff TopicSicherheitSonstige SystemeVirtualisierungWeiterbildungZusammenarbeit

Aktuelle Themen

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

Empfehlung größere Storagelösung 100-150TB und erweiterbar?

Frage Hardware SAN, NAS, DAS

Mitglied: Forseti

Forseti (Level 1) - Jetzt verbinden

07.05.2014 um 18:53 Uhr, 1703 Aufrufe, 3 Kommentare, 1 Danke

Hallo,

Hat jemand Empfehlungen bzgl. Storagelösungen im Bereich von ~100-150TB oder mehr?

Gebraucht wird es für den Einsatz in zumindeste einem Rechenzentrum (aktuell geplant). Gespeichert werden sollen große zusammenhängende Datenmengen, jeweils zwischen 300-700GB die dann auch an einem Stück jeweils geschrieben werden. Nichts kleinteiliges wie Datenbanken etc..
Angedacht ist erstmal "klein" anzufangen mit ~50TB und das in relativ kurzer Zeit zu erweitern, auf wahrscheinlich um die 150TB, eine Tapelibrary scheidet aus, aus Performancegründen.

Gefüllt wird der Datastore über einen Server, eventuell zwei, der wiederrum seine Daten über Netzwerk bekommt (2x10GBit) und eben dann ablegen will, iSCSI scheint wirklich generell nicht so brauchbar zu sein wie eine Anbindung über SAS Anschluss, aber vielleicht hat auch hier jemand einen Tipp oder eine Verbesserung.

Das ganze muss natürlich 1:1 gebackupt werden, daher braucht man die Lösung wahrscheinlich direkt zweimal, zB. bei IBM Datastorages via Enhanced Remote Mirroring (ob eventuell das Storage und Backup räumlich trennen zu können!?).

Abgerufen werden die Daten ebenfalls von dieser Storagelösung, also nicht nur gespeichert, auch hier werden diese Daten wieder in großer Menge an einem Stück abgerufen, und zwar in wesentlich erhöhtem Faktor als sie anfangs gespeichert wurden (geht dann wieder über den Server mit 2x10GBit raus). Jedoch werden wahrscheinlich so gut wie nie Daten gleichzeitig geschrieben und gelesen werden. Entweder wird gespeichert, oder geladen.

Vielleicht gibt es hier ja schon ein paar Erfahrungen oder hilfreiche Tipps aus was zu achten wäre.

Danke euch!
Mitglied: psannz
07.05.2014 um 20:31 Uhr
Sers,

also vorne weg, mit der Größenordnung von >100TB war ich selbst noch nicht konfrontiert. Und sorry for die WoT.

Auf jedenn Fall fehlen mir von dir auch noch ein paar Informationen:

Wie schnell kommen die 300-700 GB denn zusammenkommen? Und wie schnell müssen die wieder auslesbar sein? IOPS Anforderungen allgemein?
Kommst du mit 10Gbit NICs überhaupt hin? 40er NICs sind mittlerweile nicht sooo unüblich. Speziell wenn du ein Storage von 0 an aufbaust. Muss nichtmal unbedingt auf Infiniband rauslaufen.
Wieviel Redundanz und Ausfallsicherheit brauchst du? Darf es einen SPoF geben?
Zur Anbindung der "Filler" ans Frontend des Storage: iSCSI willst du nicht? Was ist mit AoE? FC/FCoE? SAS? iWARP/RDMA/RoCE? SMB3? Oder vielleicht sogar SMBdirect, also mit RDMA? So viele Möglichkeiten, alle haben was für und gegen sich.

Für mich auf jeden Fall wichtig bei solchen Datenmengen: Dedup! Wie gut lassen sich deine Daten deduplizieren?

Und zum Verständnis: Das ERM von IBM ist kein Backup. Das ist eine Spiegelung. Zum Ausfallschutz. Nicht für den Fall dass jemand den falschen Datensatz gelöscht hat.
Was als Backup in Frage kommt kann ich dir natürlich nicht sagen. Fehlen einfach zu viele Informationen. Wie lang musst du zurück können? Sollen die Daten archiviert werden?

Und zum Abschluss ein simples Planspiel in 9U das auf deine wenigen Angaben reichen würde:
HP D6000 im DualDomain Aufbau mit 3 oder 4 TB DualDomain SAS Platten (max 70), 2x HP DL380 mit je einem 2-Port HBA und min. 2 10GE Ports.
Interessant wird es mit der Software: CSV mittels Windows Server 2012R2ern und Storage Spaces? Nexenta? Chelsio USS? FreeNAS? Jede Menge Optionen. Um nur ein paar zu nennen. Auch wenn die eine wohl realistischer ist als die andere.
Wird nach obiger Idee auf 100k+ rauslaufen.
Für das Geld bekommst du auch gleich ein solides SAN, etwa von NepApp.


Mein Rat: Frag einfach mal bei einem der namhaften SAN Anbietern an. Die können dich dann auch zum Thema Datensicherung und -Sicherheit beraten.

Schließ die Tape Library mal auch nicht von vorn herein aus. Zur Sicherung und/oder Archivierung kann diese durchaus klare Vorteile haben.
Speziell wenn ich nur noch 50 TB statt 150 brauch weil die Datensätze die älter als 3 Monate sind auf Tape archiviert wurden. Wo sie im Zweifelsfall wieder mit >150MB/s unkomprimiert ausgelesen werden können. Bei Datensätzen von ~500GB wird das dann eben seine kanppe Stunde dauern.
Crux der Sache ist in dem Fall wie viel die Stunde dem Unternehmen wert ist.

Und zu guter Letzt: Lass dir gesagt sein, Datenbanken im TB Bereich sind weit weniger selten als man meinen würde.

Grüße,
Philip
Bitte warten ..
Mitglied: certifiedit.net
07.05.2014 um 21:48 Uhr
Alles in allem schon zur Technik alles sehr schön durch psannz ausgeführt. An eurer Stelle noch den Rat: Holt euch für das Szenario jemanden ins Haus, der die Fallstricke und Optionen Punkt für Punkt und en detail mit euch durchleuchtet.

Beste Grüße
Bitte warten ..
Mitglied: Dani
07.05.2014, aktualisiert 08.05.2014
Guten Abend,
Das ganze muss natürlich 1:1 gebackupt werden, daher braucht man die Lösung wahrscheinlich direkt zweimal, zB. bei IBM Datastorages via Enhanced Remote Mirroring (ob eventuell das Storage und Backup räumlich trennen zu können!?).
Gesichert oder gespielt werden? Da du RZ schreibst, gehe von einer 1:1 Redudanz aus. Da gibt es nicht viele Lösungen am Markt. Wir nutzen für eine Umgebung einen Netapp Metrocluster. Da wird in Echtzeit über Glasfaser-Trunks auf beiden Storages die Daten geschrieben und gelöscht. D.h. bei einem Alert übernimmt automatisch System B.

Gefüllt wird der Datastore über einen Server, eventuell zwei, der wiederrum seine Daten über Netzwerk bekommt (2x10GBit) und eben dann ablegen will
Die Performance, 10GBit durchschieben, muss der Server aber auch erst können!

Datenmengen, jeweils zwischen 300-700GB die dann auch an einem Stück jeweils geschrieben werden.
Interssant wäre in wie fern sich Datenmuster wiederholen. Sind das ein Haufen Konstruktionspläne oder eher einfache Dokumente. Stichwort lautet Datendeduplizierung und SSD-Cache.

@psannz
Zur Sicherung und/oder Archivierung kann diese durchaus klare Vorteile haben.
Speziell wenn ich nur noch 50 TB statt 150 brauch weil die Datensätze die älter als 3 Monate sind auf Tape archiviert wurden. Wo sie im Zweifelsfall wieder mit >150MB/s unkomprimiert ausgelesen werden können. Bei Datensätzen von ~500GB wird das dann eben seine kanppe Stunde dauern.
Crux der Sache ist in dem Fall wie viel die Stunde dem Unternehmen wert ist.
Sehe ich nicht so. Gerade wenn das STorage mit blockbasierende Snapshots umgehen kann, kann man locker 1 Jahr ohne großen Speicherplatzverbrauch vorhalten. Es muss ja nicht auf dem primären / teuren Speicherplatz liegen. Machen wir seit zwei Jahren so und das läuft auch beim Recovery schnell und zuverlässig. Gestern erst von einer DB einen 600GB Snapshot zurückspielene müssen. Hat keine 30 Minuten gedauert.

Es steht so oft eben der Nutzen-Kosten-Faktor im Raum. Bei der Größe kommen direkt die Hersteller ins Haus. Hohl dir EMC und Netapp ins Haus und erkläre denen, was du vor hast. Jeder soll ein Konzept ausarbeiten mit dem Rahmenbedingungen, etc... Parallel dazu gibt es die Möglichkeit Livesysteme anzuschauen, denn ihr müsst später das Ding auch administrieren. Und es gibt eben Programme, an die gewöhnt man sich schlecht bzw. schwer.


Grüße,
Dani
Bitte warten ..
Neuester Wissensbeitrag
Humor (lol)

Linkliste für Adventskalender

(3)

Information von nikoatit zum Thema Humor (lol) ...

Ähnliche Inhalte
Router & Routing
gelöst Empfehlung günstiges ADSL2+ nur Modem (8)

Frage von TimMayer zum Thema Router & Routing ...

Switche und Hubs
Switch Empfehlung für KMU (9)

Frage von katzepuh zum Thema Switche und Hubs ...

Netzwerkgrundlagen
Einstieg ins Thema größere Netzwerke (13)

Frage von sponger zum Thema Netzwerkgrundlagen ...

Heiß diskutierte Inhalte
Exchange Server
gelöst Exchange 2010 Berechtigungen wiederherstellen (20)

Frage von semperf1delis zum Thema Exchange Server ...

Windows Server
DHCP Server switchen (20)

Frage von M.Marz zum Thema Windows Server ...

Hardware
gelöst Negative Erfahrungen LAN-Karten (19)

Frage von MegaGiga zum Thema Hardware ...

Exchange Server
DNS Einstellung - zwei feste IPs für Mailserver (15)

Frage von ivan0s zum Thema Exchange Server ...