ukulele-7
Goto Top

Fiber vs Copper

Hallo,

ich befasse mich nach wie vor mit einer zukünftigen Modernisierung unseres Netzwerkes. Bisher plane ich Switches für ca. 90 1GBit-Ports und bis zu 30 10GBit-Ports neu anzuschaffen. Die Clients bleiben an den vorhandenen alten Switches, die wiederum werden über 1GBit-Ports an die neuen angebunden. Als Besonderheit kommt (irgendwann) eine Glasfaserleitung in das Nachbargebäude <200m hinzu, ich bin also zumindest an einer Stelle irgendwann auf Glasfaser angewiesen.

Derzeit haben wir eine HP P2000 G3, die mit 8x 1GBit über zwei Switches mit 3 Servern a 4x 1GBit iSCSI MPIO macht. Das funktioniert und mit iSCSI bin ich zufrieden. Unser nächstes SAN soll in jedem Fall mit SSDs für Datenbanken arbeiten, da erscheint mir iSCSI 1GBit als unangemessen. Im LAN kann ich theoretisch auch mit mehreren 1GBit Verbindungen arbeiten (wir arbeiten mit Terminal Servern), die Server würde ich aber gerne untereinander auch mit 10GBit im LAN vernetzen.

Jetzt stehe ich vor der Frage, wie ich 10GBit (oder zumindest 8GBit) am besten umsetze. Wenn ich das richtig sehe kommen vier Varianten in Frage:
a) 10GBaseT
b) SFP+ DAC
c) SFP+ Multimode Fiber
d) FibreChannel

Dazu habe ich Fragen und bin interessiert an Anregungen:

1) Bisher ist das SAN duch Hardware, VLAN und IP-Berreich getrennt. Spricht etwas dagegen die physische Trennung von SAN und LAN am Switch aufzugeben um Kosten zu sparen und die Last auf mehr Switches zu verteilen? VLANs und IP-Berreiche würde ich nach wie vor trennen.
2) Wir setzen derzeit VMware 6.0.x ein. Alle VMkernel-Ports für iSCSI haben dedizierte Netzwerkverbindungen. Kann ich hier neben SAN auch LAN über den Adapter laufen lassen oder sollte ich die Trennung unbedingt aufrecht erhalten? (Würde natürlich von Anfang an 4x 10GBit Uplinks erforderlich machen.)
3) Ist SFP+ DAC überhaupt besser als 10GBaseT? Außer beim Stromverbrauch dürfte sich das doch nicht groß unterscheiden.
4) Kann ich jeden SFP+ Port mit Dual Port Fiber Modulen bestücken oder gibt es da Einschränkungen? Haben Dual Port Module gegenüber Single Port Nachteile?
5) Ich habe mir mal aktuelle HP MSA Modelle und HP ProLiant Server angesehen, die setzen offenbar viel auf 10GBaseT und FibreChannel in der Grundausstattung. Auch wenn es natürlich SFP+ Adapter gibt scheinen mir die nicht sehr verbreitet. Gibt es dafür Gründe?
6) Ich tendiere zu SFP+ Multimode Fiber. Habt ihr allgemein Erfahrungen oder Empfehlungen dafür oder dagegen? Der Preis spielt eine Rolle, aber mir erscheint das nicht unangemessen teuer.
7) Bei den Switches stehe ich nicht so auf HP. Bisher wurde mir Brocade empfohlen (stackable), ich habe mir noch diverse Ubiquiti angesehen (nicht stackable aber günstig). Ein wirklicher Vergleich fällt mir schwer, spricht was gegen Ubiquiti oder für einen ganz anderen Hersteller?

Content-Key: 342676

Url: https://administrator.de/contentid/342676

Printed on: April 23, 2024 at 19:04 o'clock

Member: chgorges
chgorges Jul 06, 2017 at 18:57:27 (UTC)
Goto Top
Zitat von @ukulele-7:
Jetzt stehe ich vor der Frage, wie ich 10GBit (oder zumindest 8GBit) am besten umsetze. Wenn ich das richtig sehe kommen vier Varianten in Frage:
a) 10GBaseT
b) SFP+ DAC
c) SFP+ Multimode Fiber
d) FibreChannel

Ich gehe jetzt nur darauf ein:
Mit 10GBit/s verkabelt heute keiner mehr seinen SAN-Backbone, das läuft mittlerweile alles auf 40GBit/s.

Der Königswegs ist FiberChannel, gerne in Verbindung mit Brocade oder Cisco Nexus-Switchen. Ansonsten QSFP+ Multimode, OM4 schafft die 40GBit/s noch auf 300 Meter.

Und vergiss die Kupferkabel face-smile
Member: LordGurke
LordGurke Jul 06, 2017 at 22:34:48 (UTC)
Goto Top
Stand jetzt kannst du über Kupfer mit Mühe und Not 10G übertragen, wenn das Kabel sehr hochwertig ist, nicht zu lang ist und insgesamt nicht zu viele Störungen darauf einwirken (zu viele gebündelte Kabel z.B.).
Am Ende bist du da mit 10G-DACs mit LWL besser bedient — da bekommst du immer deine 10G durch.
Member: maretz
maretz Jul 07, 2017 at 05:03:44 (UTC)
Goto Top
Zitat von @ukulele-7:
2) Wir setzen derzeit VMware 6.0.x ein. Alle VMkernel-Ports für iSCSI haben dedizierte Netzwerkverbindungen. Kann ich hier neben SAN auch LAN über den Adapter laufen lassen oder sollte ich die Trennung unbedingt aufrecht erhalten? (Würde natürlich von Anfang an 4x 10GBit Uplinks erforderlich machen.)

Können - vermutlich ja. Willst du aber nicht! Du willst üblicherweise das Storage redundant anbinden und nicht die Arbeitsdaten noch parallel darüber laufen lassen.

Was würde denn wohl passieren wenn mitten im Betrieb dein Storage ausfällt weil dein Arbeitsswitch weg ist? Im dümmsten Fall zerlegst du dir damit dann dein Dateisystem weil du ja von verschiedenen VMs noch ungesicherte Änderungen hast. Oder was passiert wenn dein Switch völlig überlastet ist - und die Schreib-Operationen nicht mehr hinterherkommen?

Von daher möchtest du hier min. 2 Anbindungen ans Storage die über 2 Switches gehen und so lustige Dinge wie "Multipath" unterstützen... Oder du sparst da und gibst das Geld für Backup und Gebetsbücher div. Glaubensrichtungen aus (um zu Beten das nix passiert)
Member: ukulele-7
ukulele-7 Jul 07, 2017 at 06:51:11 (UTC)
Goto Top
Zitat von @chgorges:

Mit 10GBit/s verkabelt heute keiner mehr seinen SAN-Backbone, das läuft mittlerweile alles auf 40GBit/s. [...] Ansonsten QSFP+ Multimode, OM4 schafft die 40GBit/s noch auf 300 Meter.

Für Datacenter mag das sinnvoll sein aber meinst du wirklich das ich mich in einer 3 ESX-Host Umgebung mit MSA (oder vergleichbar) gleich auf 40GBit festlegen sollte? Ich habe nicht den Eindruck das ich das ausgelastet kriege, wir haben 35 Mitarbeiter.

Zitat von @chgorges:

Und vergiss die Kupferkabel face-smile
Das kann ich nachvollziehen face-smile
Member: ukulele-7
ukulele-7 Jul 07, 2017 at 07:11:09 (UTC)
Goto Top
Zitat von @maretz:

Können - vermutlich ja. Willst du aber nicht! Du willst üblicherweise das Storage redundant anbinden und nicht die Arbeitsdaten noch parallel darüber laufen lassen.

Was würde denn wohl passieren wenn mitten im Betrieb dein Storage ausfällt weil dein Arbeitsswitch weg ist? Im dümmsten Fall zerlegst du dir damit dann dein Dateisystem weil du ja von verschiedenen VMs noch ungesicherte Änderungen hast. Oder was passiert wenn dein Switch völlig überlastet ist - und die Schreib-Operationen nicht mehr hinterherkommen?

Von daher möchtest du hier min. 2 Anbindungen ans Storage die über 2 Switches gehen und so lustige Dinge wie "Multipath" unterstützen... Oder du sparst da und gibst das Geld für Backup und Gebetsbücher div. Glaubensrichtungen aus (um zu Beten das nix passiert)
Also MPIO über redundante Switches mache ich ja jetzt schon, würde ich auch beibehalten. Das ich kein SAN und LAN auf der selben NIC laufen lasse leuchtet mir auch noch ein. Wäre es denn verwerflich auf den selben Switches auch Ports für LAN Backend zu nutzen? Ich meine abgesehen davon das ich nicht Traffic am Limit produziere, die Switches sind doch für Traffic auf allen Ports ausgelegt.
Mitglied: 108012
108012 Jul 07, 2017 at 10:55:02 (UTC)
Goto Top
Hallo,

a) 10GBaseT
Schau Dir mal den Netgear M7300 an, dort kann man wenn man denn alle Switche (max. vier bei diesem Modell) in einem
Rack hat, die Switche kostengünstig mittels 10BaseT verbinden und stapeln (Switch Stack). Mittels CAT.6A S/FTP (PIMF)
sollte das eine gute und saubere Lösung sein! (15, 25, 50 cm)

b) SFP+ DAC
Nimmt man auf kurze Instanzen für eine Schnelle Anbindung via LWL, kostengünstiger als die Optiken und extra LWL Kabel zu kaufen!
Im Rack von Server, NAS und SAN zum Switch.

c) SFP+ Multimode Fiber
Für lange Strecken und bis zu 10 KM geeignet und für die Gebäude und Hausverkabelung ideal.

d) FibreChannel
SAN Netzwerk würde ich aber heute ganz weg lassen, klar die kosten nicht mehr so viel nur mittels 10 GBit/s oder gebrauchten
Mellanox Switchen ist man da besser aufgestellt.

Dazu habe ich Fragen und bin interessiert an Anregungen:
1) Bisher ist das SAN durch Hardware, VLAN und IP-Berreich getrennt. Spricht etwas dagegen die physische Trennung von SAN
und LAN am Switch aufzugeben um Kosten zu sparen und die Last auf mehr Switches zu verteilen? VLANs und IP-Berreiche
würde ich nach wie vor trennen.
Man kann vieles machen nur das muss dann auch immer zu dem passen was man dann dort vor Ort aufgezogen hat!
Ich würde wenn überhaupt wie schon angesprochen auf redundante FC Switche für das SAN (Storage Netzwerk) gehen
wollen oder aber gleich und je nach örtlicher Gegebenheit geeignete Switche dazu kaufen die sich ergänzen und vor
allem gut miteinander können und zwar in jeder Hinsicht!
  • Netgear M7100 oder M7300 und Switche der Serie M5300
Wenn alles in einem Rack installiert wird und dann als Stapel mit zwei Core Switchen und zur SAN und Server Anbindung Switchen
  • Netgear M4300 Serie wenn alles in einem Rack und im Gebäude oder über mehrere Gebäude verteilt wird!
Spine-Leaf Konzept, aber mit Vorteilen eines Stapels (Switch Stack)!!!

2) Wir setzen derzeit VMware 6.0.x ein. Alle VMkernel-Ports für iSCSI haben dedizierte Netzwerkverbindungen. Kann ich hier neben
SAN auch LAN über den Adapter laufen lassen oder sollte ich die Trennung unbedingt aufrecht erhalten?
(Würde natürlich von Anfang an 4x 10GBit Uplinks erforderlich machen.)
Man kann vieles und noch mehr! Warum 4 x 10 GBit/s wenn man mit einem Mellanox SR3 Adapter und in Verbindung mit
gebrauchten Mellanox Switchen bis zu 56 GBit/s pro Port "fahren" kann! Denk mal bitte an die Preise für die Optiken und Kabel!
Außer wenn alles in einem Rack dann auch sicherlich mittels DAC Kabel, das spart Geld.

3) Ist SFP+ DAC überhaupt besser als 10GBaseT? Außer beim Stromverbrauch dürfte sich das doch nicht groß unterscheiden.
Also wenn ich zwei bis vier M7300 Switche in einem Rack habe, spare ich mit den CAT.6A S/FTP (PIMF) Kabeln ganz enorm
und wenn die Abstände über drei bis fünf Metern Länge kommen überlege ich dann auch ob ich lieber DAC Kabel einsetze.
Die Gegenstelle ist auch immer Entscheidend, ein performantes NAS oder SAN mit 2x oder 4x 10BaseT Schnittstellen ist
dann ebenso schnell und kostengünstig angebunden wie mit DAC Kabeln. Nimm auf jeden Fall immer die gleichen Kabel
und mit möglichst 1200MHz beschriftet! Dann sind 10 GBit/s auch garantiert und man sucht nicht so nach den Fehlern
und findet nichts, denn die Kabel sind alle mit 500, 600, 700, 900 und 1200MHz beschriftet und auch dafür ausgelegt.

4) Kann ich jeden SFP+ Port mit Dual Port Fiber Modulen bestücken oder gibt es da Einschränkungen?
Haben Dual Port Module gegenüber Single Port Nachteile?
Sie sind in der Regel teurer, wenn es hier um Netzwerkkarten gehen sollte. Ein SAN, NAS oder gar einen Server kann
man auch mittels Dual Port Karten bestücken gar keine Frage und wenn es redundant ausgelegt sein soll, dann ist das
sogar die richtige Entscheidung.

5) Ich habe mir mal aktuelle HP MSA Modelle und HP ProLiant Server angesehen, die setzen offenbar viel auf 10GBaseT
und FibreChannel in der Grundausstattung.
Mach gleich alles so das es auch zusammen passt, man kann auch von Netgear kleinere Switche nehmen die sich gerade
an solche kleinen KMU Betriebe richten, die kommen dann alle mit 10 BaseT Kupferports daher! ´Die SX Serie hat Switche
mit 8, 12 und 16 oder gar 24 10 BaseT Ports. Ist eben kostengünstiger und für einen kleineren Backbone in einem KMU
unternehmen ist das auch noch verträglich. Kommt ja auch immer auf die Leistung an die benötigt wird.

Auch wenn es natürlich SFP+ Adapter gibt scheinen mir die nicht sehr verbreitet. Gibt es dafür Gründe?
Geld? Sie zu wenn Du so etwas kaufst dass es auf jeden Fall RDMA fähige Adapter sind, ich würde da auch
Intel und Chelsio setzen wollen die sind momentan so richtig gut im Rennen je nach Anwendungsgebiet.

6) Ich tendiere zu SFP+ Multimode Fiber. Habt ihr allgemein Erfahrungen oder Empfehlungen dafür oder dagegen?
Am besten man kauft sich erst SAN und NAS und Server und dann die dazu passenden Switche und dann sieht man ja
wer welchen SFP Standard unterstützt, was soll es auch wenn die Switche nur Single Mode unterstützen und die Karten
im SAN und NAS nur MultiMode, das bringt dann ja auch gar ncihts, das sollte man aber immer vorher abklären! Und man
orientiert sich dann am besten zuerst an den Geräten wo man nichts dran verändern kann.

Der Preis spielt eine Rolle, aber mir erscheint das nicht unangemessen teuer.
Es kommt immer auf die Gesamt Leistung an die benötigt wird plus einer kleineren Reserve damit man nicht gleich wieder
loslegt. Netgear SX708T, SX712T, SX716T und XS724T sollten schon gut passen.

7) Bei den Switches stehe ich nicht so auf HP. Bisher wurde mir Brocade empfohlen (stackable), ich habe mir noch diverse
Ubiquiti angesehen (nicht stackable aber günstig). Ein wirklicher Vergleich fällt mir schwer, spricht was gegen Ubiquiti oder
für einen ganz anderen Hersteller?
Hier entscheidet der Einsatzzweck und der Gesamtdurchsatz plus die erforderlichen Protokolle und gewünschten und benötigten
Layer (2/3/4) ich würde eher auf Hausmannskost setzen und dann eher berücksichtigen wollen was vor Ort denn überhaupt so
dazu passt! Hat man alles in einem Rack dann kann man auch Stapel nutzen (M7300 & M5300 oder M7100 & S3300) sollte man
aber auch im Haus mehrere Switche verteilt aufstellen müssen wäre ich da eher bei eine Spin-Leaf Konzept also einen Stapel
über Entfernung (Geo-Stack) und somit auch bei der M4300 Serie.

Brocade ist gut und UBNT machen eigentlich mehr so Geräte für den WISP (Wireless Internet Service Provider) Bereich.


Gruß
Dobby
Member: ukulele-7
ukulele-7 Jul 07, 2017 at 13:21:18 (UTC)
Goto Top
Okay die Netgear Geräte sehe ich mir nochmal näher an. Alle Switches sind im selben Rack mit Ausnahme des Nachbargebäudes. Wobei hier nicht klar ist, wie der Bedarf in naher Zukunft aussehen wird. Von zweitem Serverraum mit SAN Einheit zu nur Arbeitsplätzen ist alles realistisch.

Auch DAC muss ich mir dann nochmal genau ansehen, mir kammen die optischen Transreciver gar nicht so teuer vor, eher die Switches mit vielen SFPX+ Ports.
Mitglied: 108012
108012 Jul 07, 2017 at 16:35:46 (UTC)
Goto Top
Okay die Netgear Geräte sehe ich mir nochmal näher an.
Ich bin eben mehr Netgear "lastig" und andere bevorzugen andere Switche, aber am besten ist es halt für einen Admin wenn
er nur Switche eines Herstellers verwendet, zumindest meine Meinung, und die sind dann auch noch von den Protokollen
und Funktionen her kompatibel! Bei Netgear muss man eben nur leider vorher zwingend die Bedienungsanleitung lesen

Geringer Durchsatz:
Core Switch - M7100
Access Switche - S3300 Serie
Stapelbar, 10 GBit/s und günstig

Mittlerer Durchsatz:
Core Switch - M7300 mit Layer3 Lizenz
Server, SAN/NAS Switche - M7300 (Layer2+)
Access Switche - M5300
Stapelbar (Module), mehr 10 GBit/s Ports aber teurer.

Hoher Durchsatz:
Core Switch - M7300 mit Layer3 Lizenz oder M4300
Server und SAN/NAS und Access M4300 Serie

WLAN:
WAC740 APs mit 2,5 GBit/s Ports und M4200 Switch mit 2,5 (8x) und 5 (4x) sowie 10 GBit/s (2x) Ports

Alle Switches sind im selben Rack mit Ausnahme des Nachbargebäudes.
Dann würde ich mich bei den Netgear Switchen lieber an die M7300 und M5300 Serie halten, ist teurer aber eben
auch gut zu stapeln und zu erweitern. Oder die M4300 wen Layer3 und unterschiedliche Routingprotokolle gefragt
sind.

Wobei hier nicht klar ist, wie der Bedarf in naher Zukunft aussehen wird. Von zweitem Serverraum mit SAN Einheit
zu nur Arbeitsplätzen ist alles realistisch.
Die M7300 kann man als Layer2+ Geräte gut zur Anbindung von vielen SFP+ Geräten benutzen also für Server, SAN
und NAS sind da alle Wege offen. Aber mit einer Layer3 Lizenz hat man auch schnell mit einem oder zwei Switchen
einen oder zwei Core Switche zur Verfügung!!! Die M5300 Serie lässt sich stapeln und zwar mit Modulen und wenn
man drei Layer3 Switche davon nimmt kann auch einer ausfallen und man hat schnell einen neuen Master der routet
also vollautomatisch.

Auch DAC muss ich mir dann nochmal genau ansehen, mir kamen die optischen Transreciver gar nicht so teuer vor,
eher die Switches mit vielen SFPX+ Ports.
Bei DAC stimmt das auch, nur bei den SFP+ Transceivern und Kabeln wird es dann mitunter teurer.

Gruß
Dobby
Member: ukulele-7
ukulele-7 Jul 11, 2017 at 06:42:26 (UTC)
Goto Top
Ich bin (zum Glück) in der Situation das alle meine Switches alt sind und ich die freie Wahl habe. Ich plane die alten Switches per LACP mit zwei bis vier 1GBit Kupfer als Uplink an die, wie auch immer gearteten, Core Switches anzubinden. An den alten Switches hängen dann nur Terminal Clients und andere Systeme mit geringem Durchsatz.

Netgear ist sicherlich eine Option. Leider fehlt mir jegliche Vergleichbarkeit zwischen den Herstellern. Selbst Preise sind nur schwer zu vergleichen, ganz zu schweigen von den Features wie "Stackable" was ja sicherlich jeder etwas anders löst. Mein Systemhaus hat vermutlich auch ne Meinung aber die teile ich grade in dem Bereich nicht.
Mitglied: 108012
108012 Jul 11, 2017 at 10:40:45 (UTC)
Goto Top
Mein Systemhaus hat vermutlich auch ne Meinung aber die teile ich grade in dem Bereich nicht.
Mal kann es gut sein dass man ein Systemhaus hat und man bekommt etwas ordentliches und mal
wollen die nur Ihre Ladenhüter loswerden und Ihr Lager räumen, aber selbst dann kann man
wenigstens noch ein Schnäppchen machen!

Gruß
Dobby
Member: ukulele-7
ukulele-7 Jul 19, 2017 at 06:10:42 (UTC)
Goto Top
Noch eine Frage die ich sonst in einem neuen Thread stellen müsste. Wenn ich ein SFP+ Port an einem Switch (oder einer Netzwerkkarte) mit einem Dual Transceiver bestücke ( willkürliches Beispiel https://www.finisar.com/optical-transceivers/ftlx8574d3bcv ), ließen sich dann beide Leitungen eigenständig konfigurieren und nutzen? Also in unterschiedlichen VLANs, IP Segmenten, verschiedene vmkernel, unterschiedliche Framegröße, etc. oder würden sowohl Server als auch Switch das als eine Verbindung betrachten?
Member: sk
sk Jul 19, 2017 updated at 07:32:34 (UTC)
Goto Top
Das verlinkte Modul unterstützt alternativ zwei verschiedene Datenübertragungsraten (1G und 10G). Mit Dual-Port im Sinne von zwei unabhängigen Verbindungen hat das nichts zu tun. Das Modul nutzt lediglich zwei LWL-Fasern für die gleiche logische (bidirektionale) Verbindung: eine zum Senden und eine zum Empfangen. Es gibt auch Module, die das auf nur einer Faser können. Die sind aber teurer.
Member: ukulele-7
ukulele-7 Jul 19, 2017 at 08:50:14 (UTC)
Goto Top
Okay der Link war vielleicht auch ein bischen schlecht gewählt. Also habe ich zwar zwei Fasern aber die verhalten sich wie eine Verbindung und die Konfiguration liegt sozusagen am SFP+ Port an.
Member: sk
sk Jul 19, 2017 at 09:55:44 (UTC)
Goto Top
ja, so könnte man das formulieren.
Member: maretz
maretz Jul 20, 2017 at 06:44:59 (UTC)
Goto Top
Moin,

die verhalten sich nicht wie eine Verbindung - es IST eine Verbindung. Ein ist RX (Receive), eine ist TX (Transmit). Ziehst du eine von beiden ab ist dein Netzwerk getrennt...

Und die Konfiguration liegt nicht nur "sozusagen" am Port an, die liegt genau da an! Das Kabel kannst du nicht konfigurieren, das hat der Hersteller bereits für dich getan (Länge, Art, Dämpfung,...). Dem Port kannst du z.B. sagen wie schnell der sein soll (z.B. 1 GBit, 100 mBit,...). Du kannst dem auch sagen ob der Full- oder Half-Duplex machen soll (d.h. Senden/Empfangen gleichzeitig oder nicht) und wie der die Daten übertragen soll.

Ich würde dringend mal empfehlen das du dir das OSI-Modell anguckst. Dann versuchst du mal dein Netzwerk darauf abzubilden und guckst mal wo du welchen Layer hast...