5
ISCSI oder FC
Hallo Leute,
wir Konzipieren gerade eine neue Cluster-Infrastruktur. Zur Zeit nutzen wir einen Hyper-V-Cluster (2012R2) mit Hardware aus dem Jahr 2012. Neben dem Alter der Hardware ist natürlich auch die Leistung ein Grund zur Neuausrichtung der Infrastruktur. Für die heutigen Anforderungen ist die Hardware zwar noch ausreichend, allerdings wird es beim aktuellen Wachstum relativ schnell relativ eng....
Geplant sind drei Hosts die an ein Storage-System (Fujitsu DX100S3) angeschlossen werden. Das Storage soll ca. 6TB Netto-Kapazität bereitstellen (22x600GB SAS im RAID10 + Hotspare = ca. 6TB).
Für ein Storage-Cluster (2xDX100S3) ist dann leider doch keine Kohle da - das Storage wird aber komplett redundant ausgelegt und mit nem ordentlichen SLA ausgestattet...
Zur Zeit laufen 20 VMs im Cluster - ich denke mehr wie 30 werden es nicht werden.
Zu den vorhandenen Maschinen zählen: 5xAnwendungssystem, 4xSQL-Server*, 1xExchange, 1xDC, 3xFile, 1xWSUS, 1xAntiViren-Management, 1xRADIUS, 1xCA, 1xVerschlüsselungs-Management, 1xWebserver (für interne Projekte)
Die Verbindung zwischen Hosts & Storage wird zur Zeit mit 2x10GB iSCSI pro Host bereitgestellt. Da wir zur Zeit nur zwei Hosts haben und das Storage pro Controller-Modul zwei 10GB-iSCSI-Ports bereitstellt sind die Hosts über Kreuz direkt an das Storage angebunden - ein Switch zur Verbindung zwischen Storage und Hosts wurde also gespart.
Die neue Fujitsu DX100S3 kann mittlerweile 2/4/8-Ports pro Controller bereitstellen. Wir hätten dort dann die 4-Port-Variante gewählt um ebenfalls wieder direkt zu Verbinden (Switch sollte wieder gespart werden).
Als Alternative zu der iSCSI-Variante könnte allerdings auch FiberChannel genutzt werden.
Vorteile FC: Protokoll wurde genau zu diesem zweck Entwickelt, weniger Overhead, bessere Latenz
Nachteile FC: Relativ teuer durch spezielle Hardware, wir haben wenig Erfahrung mit FC (iSCSI ist im Gegensatz ja dazu quasi wie TCP/IP), nicht flexibel.
Meine Frage:
Bringt es aus Sicht der Performance in unserer relativ kleinen Umgebung eine Vorteil bei der Verwendung von FC im Vergleich zu iSCSI und die der Latenzunterschied wirklich so drastisch?
wir Konzipieren gerade eine neue Cluster-Infrastruktur. Zur Zeit nutzen wir einen Hyper-V-Cluster (2012R2) mit Hardware aus dem Jahr 2012. Neben dem Alter der Hardware ist natürlich auch die Leistung ein Grund zur Neuausrichtung der Infrastruktur. Für die heutigen Anforderungen ist die Hardware zwar noch ausreichend, allerdings wird es beim aktuellen Wachstum relativ schnell relativ eng....
Geplant sind drei Hosts die an ein Storage-System (Fujitsu DX100S3) angeschlossen werden. Das Storage soll ca. 6TB Netto-Kapazität bereitstellen (22x600GB SAS im RAID10 + Hotspare = ca. 6TB).
Für ein Storage-Cluster (2xDX100S3) ist dann leider doch keine Kohle da - das Storage wird aber komplett redundant ausgelegt und mit nem ordentlichen SLA ausgestattet...
Zur Zeit laufen 20 VMs im Cluster - ich denke mehr wie 30 werden es nicht werden.
Zu den vorhandenen Maschinen zählen: 5xAnwendungssystem, 4xSQL-Server*, 1xExchange, 1xDC, 3xFile, 1xWSUS, 1xAntiViren-Management, 1xRADIUS, 1xCA, 1xVerschlüsselungs-Management, 1xWebserver (für interne Projekte)
- Die SQL-Server hosten kein SAP oder fette Datenbanken...die Server sind also keine "Leistungsfresser"...
Die Verbindung zwischen Hosts & Storage wird zur Zeit mit 2x10GB iSCSI pro Host bereitgestellt. Da wir zur Zeit nur zwei Hosts haben und das Storage pro Controller-Modul zwei 10GB-iSCSI-Ports bereitstellt sind die Hosts über Kreuz direkt an das Storage angebunden - ein Switch zur Verbindung zwischen Storage und Hosts wurde also gespart.
Die neue Fujitsu DX100S3 kann mittlerweile 2/4/8-Ports pro Controller bereitstellen. Wir hätten dort dann die 4-Port-Variante gewählt um ebenfalls wieder direkt zu Verbinden (Switch sollte wieder gespart werden).
Als Alternative zu der iSCSI-Variante könnte allerdings auch FiberChannel genutzt werden.
Vorteile FC: Protokoll wurde genau zu diesem zweck Entwickelt, weniger Overhead, bessere Latenz
Nachteile FC: Relativ teuer durch spezielle Hardware, wir haben wenig Erfahrung mit FC (iSCSI ist im Gegensatz ja dazu quasi wie TCP/IP), nicht flexibel.
Meine Frage:
Bringt es aus Sicht der Performance in unserer relativ kleinen Umgebung eine Vorteil bei der Verwendung von FC im Vergleich zu iSCSI und die der Latenzunterschied wirklich so drastisch?
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 326281
Url: https://administrator.de/contentid/326281
Printed on: April 27, 2024 at 03:04 o'clock
5 Comments
Latest comment
Wenn du für deine iSCSI Infrastruktur eine potente Hardware einsetzt nicht wirklich. Entscheidend ist hier das das ein DCB fähiger Switch ist der dir lossless Traffic garantiert.
Idealerweise auch in einer Ethernet Fabric mit TRILL oder SPB die einen zentralisierte Priorisierung von IP based Storage Traffic bietet.
Hardware wie Cisco Nexus oder besser noch Brocade VDX wäre dort ein entscheidender Vorteil und in deinem Umfeld ist der Unterschied dann quasi egal. Hier redet man nicht über Dell, HP, Netgear & Co, das ist klar.
Fujitsu bundelt doch sogar die Brocade VDX in ihre Hardware ! Steilvorlage also für dich...
Dazu kommt noch das das Hybrid Switches sind. Man kann damit sogar auch ggf. vorhandene FC Infrastruktur integrieren und so sanft migrieren.
Von Billigswitches sollte man in Bezug auf Zukunftsfähigkeit und Performance die Finger lassen. Verbietet sich eh, da an der iSCSI Infrastruktur dann die gesamte, zentrale Server Architektur hängt.
Idealerweise auch in einer Ethernet Fabric mit TRILL oder SPB die einen zentralisierte Priorisierung von IP based Storage Traffic bietet.
Hardware wie Cisco Nexus oder besser noch Brocade VDX wäre dort ein entscheidender Vorteil und in deinem Umfeld ist der Unterschied dann quasi egal. Hier redet man nicht über Dell, HP, Netgear & Co, das ist klar.
Fujitsu bundelt doch sogar die Brocade VDX in ihre Hardware ! Steilvorlage also für dich...
Dazu kommt noch das das Hybrid Switches sind. Man kann damit sogar auch ggf. vorhandene FC Infrastruktur integrieren und so sanft migrieren.
Von Billigswitches sollte man in Bezug auf Zukunftsfähigkeit und Performance die Finger lassen. Verbietet sich eh, da an der iSCSI Infrastruktur dann die gesamte, zentrale Server Architektur hängt.
Also zu FC kann ich dir keinen Rat geben da ich es noch nicht eingesetzt habe. FC war damals für uns (auch ca. 2012) die teurere Alternative gegenüber 1GBit iSCSI. Um dein 10GBit iSCSI Leistungstechnisch nahe zu kommen brauchst du mindestens 8 wenn nicht sogar 16GBit FC, ich kann mir vorstellen das das auch nicht viel günstiger kommt. 10GBit Switches kann man aber flexibler einsetzen, daher würde ich zu iSCSI tendieren.
Unsere Umgebung hat 3 Hosts mit je 4x 1GBit iSCSI (Jumbo Frames, Round Robin) und 23 Server VMs. Vornehmlich Windows Server darunter mehrere kleine SQL und 1x DATEV SQL + 1x DMS SQL, Terminal Server für 25 User, Exchange, WSUS, etc.. Also vielleicht sogar etwas mehr als ihr aktuell an Last habt und ein kleineres Storrage HP P2000 G3 mit 16 aktiven 10k Platten. Es läuft brauchbar schnell, Storrage werden wir sicher auch irgendwann wechseln.
Rein aus Performance Sicht würde ich sagen 1x 10GBit iSCSI ist schon schneller als hier, mit 2x solltest du gut fahren und hast Redundanz.
PS: Wir haben billige Linksys (aka Cisco) Switches im iSCSI Einsatz.
Unsere Umgebung hat 3 Hosts mit je 4x 1GBit iSCSI (Jumbo Frames, Round Robin) und 23 Server VMs. Vornehmlich Windows Server darunter mehrere kleine SQL und 1x DATEV SQL + 1x DMS SQL, Terminal Server für 25 User, Exchange, WSUS, etc.. Also vielleicht sogar etwas mehr als ihr aktuell an Last habt und ein kleineres Storrage HP P2000 G3 mit 16 aktiven 10k Platten. Es läuft brauchbar schnell, Storrage werden wir sicher auch irgendwann wechseln.
Rein aus Performance Sicht würde ich sagen 1x 10GBit iSCSI ist schon schneller als hier, mit 2x solltest du gut fahren und hast Redundanz.
PS: Wir haben billige Linksys (aka Cisco) Switches im iSCSI Einsatz.
Bringt es aus Sicht der Performance in unserer relativ kleinen Umgebung eine Vorteil bei der Verwendung von FC im Vergleich zu iSCSI und die der Latenzunterschied wirklich so drastisch?
Grundsätzlich halte ich den Durchsatz und damit die Geschwindigkeit von 8Gbit FC und 10Gbit iSCSI für vergleichbar!
Wenn man "direct Connectivity" nutzen kann und keine SAN Switche dazwischen schalten muss.
Sobald Switche ins Spiel kommen hängt die Latenzeit signifikant von deren Leistung ab.
Meine Faustregel: Ein 8Gbit iSCSI Switch ist pro Port genau so teuer wie ein gleich schneller iSCSI "fähiger" Switch, wen die selbe Latenzzeit verlangt wird. Bei iSCSI spielen auch die 10Gbit NIC im Server eine wichtige Rolle (Sie sollten "TCP/IP-Offloading" o.ä. beherrschen)
Dies macht aber die 10Gbit iSCSI Technik bestenfalls genau so teuer wie 8Gbit FibreChannel...
Wichtig ist auch die richtige Konfiguration der iSCSI Switche. (PortForwarding, JumboFrames usw.)
Gegen 16 Gbit oder 32 Gbit FC gibt es auf IP Basis noch keine Alternative, wenn ausser diesen beiden Anschlussarten keine Alternativen (SAS, InfiniBand,o.ä.) geboten werden.
In kleineren Umgebungen setze ich übrigens auf direkte Anschlüsse auf 12Gbit SAS Basis.
Die SAS HBA sind erheblich günstiger als bspw. FC HBA und an die meisten Storages kann man mindestens (mit zwei Anbindungen) 4 Server auf diese Weise anschließen...
Zitat von @Dr.EVIL:
Grundsätzlich halte ich den Durchsatz und damit die Geschwindigkeit von 8Gbit FC und 10Gbit iSCSI für vergleichbar!
Wenn man "direct Connectivity" nutzen kann und keine SAN Switche dazwischen schalten muss.
Sobald Switche ins Spiel kommen hängt die Latenzeit signifikant von deren Leistung ab.
Grundsätzlich halte ich den Durchsatz und damit die Geschwindigkeit von 8Gbit FC und 10Gbit iSCSI für vergleichbar!
Wenn man "direct Connectivity" nutzen kann und keine SAN Switche dazwischen schalten muss.
Sobald Switche ins Spiel kommen hängt die Latenzeit signifikant von deren Leistung ab.
Jap, "Direct Connectivity" zum Storage soll genutzt werden - also sind keine Switche im Storage-Bereich nötig.
Danke!
Ich würde dies im Vorfeld mit dem Hersteller abklären...
Speziell im iSCSI Umfeld sind "Direktverbindungen" ohne Switch, manchmal zwar technisch möglich, werden aber nicht supportet, d.h. man bekommt im Fehlerfall keine Unterstützung.
Speziell im iSCSI Umfeld sind "Direktverbindungen" ohne Switch, manchmal zwar technisch möglich, werden aber nicht supportet, d.h. man bekommt im Fehlerfall keine Unterstützung.