Top-Themen

AppleEntwicklungHardwareInternetLinuxMicrosoftMultimediaNetzwerkeOff TopicSicherheitSonstige SystemeVirtualisierungWeiterbildungZusammenarbeit

Aktuelle Themen

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit
GELÖST

Bezahlbarer 10Gbit SFP+ Switch für RoCE gesucht

Frage Netzwerke LAN, WAN, Wireless

Mitglied: psannz

psannz (Level 2) - Jetzt verbinden

18.06.2014, aktualisiert 25.06.2014, 7317 Aufrufe, 17 Kommentare

Servus miteinander,

ist euch ad hoc ein bezahlbarer 10Gbit SFP+ Switch bekannt der DCB (Data Center Bridging) und PFC (Priority Flow Control) unterstützt? An Ports würden mir 8 voll und ganz reichen, wobei >12 doch sympatischer sind.
ETS ist optional.


Als Hintergrund zur Anfrage:
Mir ist ein Paar Mellanox ConnectX-3 mit je einem SFP+ in die Hände gefallen.
Verbaut habe ich die beiden mit einander direkt verbundenen Karten in zwei Hyper-V 2012 R2 Servern um auf diese Weise die LiveMigration via DirectSMB testen zu können.
Hat überraschend gut funktioniert. Und weil das ganze so schön funktioniert hat würde ich jetzt gern noch weitere Systeme mit der Technik anbinden, bzw. allgemein einen 10G Backbone aufbauen.

Das Problem ist jetzt einfach dass RoCE, die von Mellanox eingesetzte RDMA Technik, von den beteiligten Switchen DBC und PFC verlangt.
RoCE stellt also ähnliche Anforderungen an den Switch wie FCoE, wobei mir zu FCoE einfach die Erfahrung fehlt.

Bin für jeden Vorschlag dankbar.

Grüße,
Philip
Mitglied: Dobby
LÖSUNG 18.06.2014, aktualisiert 25.06.2014
Hallo Philip,

also wenn das so eine Karte ist wie sie hier zu sehen ist (Beispiel) dann würde ich auf jeden Fall versuchen einen SX6005 oder
SX6012 zu bekommen, denn damit sind dann 40 GBit/s bis 56 GBit/s
pro Port möglich!

Hier kann man sich die Switche mal anschauen:
Hamburgnet
- 8 Port Mellanox Switch IS5022
- 12 Port Mellanox Switch SX6005 (unmanaged)
- 12 Port Mellanox Switch SX60012 (managed)

Das Problem ist jetzt einfach dass RoCE, die von Mellanox
eingesetzte RDMA Technik, von den beteiligten Switchen DBC
und PFC verlangt.
So etwas bekommst Du bestimmt, nur eben nicht mit den
Leistungsdaten das ist raus geschmissenes Geld.
Nicht-blockierende Switching-Kapazität : 960 Mbps
Bandbreite pro Port : 56 Gbit/s
Forward Error Correction
Port-to-Port-Latenzzeit : 170 ns


bzw. allgemein einen 10G Backbone aufbauen.
Dann nimm lieber nur eine "echte" SFP+ Karte bzw. 10 GbE Karten
und ein paar kleine Switche die das auch können.
Wenn man GbE Switche dazu nimmt, spart man auch die
SFP+ Module und kann mittels CAT.6a Kabeln auch via LAG (LACP)
einiges heraus holen.
NETGEAR ProSafe Plus XS708E
Netgear XS712T
Netgear XSM7224

und wenn es denn SFP+ sein muss gibt es dafür auch günstigere
Switche die man zum "Syncen" benutzen kann
Netegar XSM7224sk


Aber für Deine SX-3 Karten sollte es schon ein Mellanox Switch sein
SX6005
SX6012

Wenn Dir aber Karte zu Karte reichen sollte!
Kannst Du auch hier einmal nach einem so genannten "Bucket price"
(Mengenrabat) nachfragen die handeln mit Mellanox PCIe 2.0 Karten
und geben Dir auch zu jeder ein Kabel (QSFP+ Patchkabel) mit QSFP+ Adaptern dazu. DDS

Gruß
Dobby


P.S.
Es ist natürlich auch ein unterschied ob Du an so eine Mellanox ConnectX-3 oder so eine Mellanox ConnectX-3 EN MCX311A-XCAT bzw. Mellanox ConnectX-3 gekommen bist! Die eine unterstützt 10 Gigabit LAN und InfiniBand 40 Gigabit LAN und die anderen "nur" 10 Gigabit LAN, FCoE.
Bitte warten ..
Mitglied: psannz
19.06.2014 um 00:23 Uhr
Danke dir schon mal für die Infos, Dobby.

Die KArte ist leider die kleinste im 3er Programm, sprich wirklich die mit einem SFP+ Port. Sind also nur die 10Gbit drin.
Die ConnectX-2 ist nett, die hatte ich auch schon angedacht als Anbindung für die "kleineren" Server bzw. non-Hyper-V Systeme. Problem ist eben nur dass es für die 2er keine Windowstreiber gibt die RDMA einer mit DirectSMB kompatiblen Form unterstützen würden.

Ein Umstieg auf iWARP als Basis fürs DirectSMB wäre natürlich auch eine Option, dann würde das ganze über ein 10GE Kupfernetz laufen. NICs wären hier von Chelsio und Intel. Luft nach oben aber eben nicht wirklich.

Für die RoCE-Variante mit Mellanox ist DCB und FPC wirklich nicht optional. Sonst gibt es Probleme bei der Verbindungsaushandlung bzw. Verbindungen werden am Ende als reguläre SMB3 Verbindung aufgebaut und belasten CPU und RAM, was ich ja gerade mit DirectSMB verhindern möchte.


Zu den SX6005/6012 Switchen: Die machen doch nur Infiniband und kein "normales" Ethernet, oder hab ich das falsch verstanden?


Grüße,
Philip
Bitte warten ..
Mitglied: Dobby
19.06.2014 um 00:54 Uhr
Hallo nochmal,

Die KArte ist leider die kleinste im 3er Programm, sprich
wirklich die mit einem SFP+ Port. Sind also nur die 10Gbit drin.
Ahh so das war nicht gleich ersichtlich für mich, denn Mellanox ConnectX-3 heißen sie ja alle und ich habe da wohl eher an die
FDR/QSFP+ Variante gedacht.

Zu den SX6005/6012 Switchen: Die machen doch nur Infiniband
und kein "normales" Ethernet, oder hab ich das falsch verstanden?
Das war auch nur weil ich an die "große" Mellanox ConnectX-3
gedacht habe.

Gruß
Dobby
Bitte warten ..
Mitglied: psannz
19.06.2014 um 01:15 Uhr
Nuja, wenn es die Karten für umme gibt, dann freut man sich und sieht zu wie sie sich einsetzen lassen
Bitte warten ..
Mitglied: Dobby
19.06.2014 um 01:21 Uhr
Nuja, wenn es die Karten für umme gibt, dann freut man sich
und sieht zu wie sie sich einsetzen lassen
Logo wer würde das nicht machen!

Gruß
Dobby
Bitte warten ..
Mitglied: aqui
LÖSUNG 19.06.2014, aktualisiert 25.06.2014
Ein preiswerter Switch der DCB fähig ist und alle deine Anforderungen wie PFC etc. supportet ist z.B. ein Brocade VDX6720-16-F mit 16 Ports 10 GiG Ethernet SFP+. Es gibt nicht viele Hersteller die kleine DCB fähige Switches haben. Cisco Nexus noch aber mit Lizenzen kosten die ein vielfaches mehr. Andere wie HP etc. usw können schlicht kein DCB.
NetGear weiss noch nichtmal wie man DCB schreibt...
Bitte warten ..
Mitglied: psannz
19.06.2014 um 10:01 Uhr
Zitat von aqui:

Ein preiswerter Switch der DCB fähig ist und alle deine Anforderungen wie PFC etc. supportet ist z.B. ein Brocade
VDX6720-16-F
mit 16 Ports 10 GiG Ethernet SFP+. Es gibt nicht viele Hersteller die kleine DCB fähige Switches haben. Cisco
Nexus noch aber mit Lizenzen kosten die ein vielfaches mehr. Andere wie HP etc. usw können schlicht kein DCB.
NetGear weiss noch nichtmal wie man DCB schreibt...

Danke dir aqui. Der Netgear ProSafe wäre auch nur dann eine Option wenn RDMA über iWARP und auf Kupferbasis läuft, also mit Intel oder Chelsio NICs. Intel bietet es mit passenden Treibern für DirectSMB derzeit afaik nur für die NetEffect Serie an. Wobei mir da noch nicht klar ist ob es irgendwelche Anforderungen an den Switch gibt.

Der Brocade VDX6720 sieht recht nett aus. Um Preis/Leistung muss man sich bei dem Laden ja zum Glück keine großen Sorgen machen.
Was würdest du zu der 8000er Serie sagen die Brocade für EMC, Dell, etc fertigt?
Bitte warten ..
Mitglied: aqui
19.06.2014, aktualisiert 25.06.2014
Der 8000er ist mausetot und längst abgekündigt (End of Life) ! Sollte auch auf deren Webseite irgendwo stehen !
Nachfolger sind eben die VDX Modelle ! Das sind allesamt hybride DCB Switches die in einer Spanning Tree freien Ethernet Fabric arbeiten.

NetGear kannst du in dem Umfeld komplett vergessen, wie im professionellen RZ Umfeld allgemein. Da haben die rein nix zu suchen mit ihren Produkten.
Bitte warten ..
Mitglied: psannz
25.06.2014 um 10:18 Uhr
Zitat von aqui:

Ein preiswerter Switch der DCB fähig ist und alle deine Anforderungen wie PFC etc. supportet ist z.B. ein Brocade
VDX6720-16-F
mit 16 Ports 10 GiG Ethernet SFP+. Es gibt nicht viele Hersteller die kleine DCB fähige Switches haben. Cisco
Nexus noch aber mit Lizenzen kosten die ein vielfaches mehr. Andere wie HP etc. usw können schlicht kein DCB.
NetGear weiss noch nichtmal wie man DCB schreibt...

So, nochmal Danke für den Hinweis. Hatte mittlerweile Gelegenheit das Gerät in Aktion zu sehen und es gefällt doch schon recht gut.

Den Fred setze ich dann hiermit auf "Gelöst". Weitere Ideen und Kommentare sind natürlich wie immer auch weiterhin willkommen.
Bitte warten ..
Mitglied: psannz
30.01.2015, aktualisiert um 16:04 Uhr
Zitat von aqui:

Ein preiswerter Switch der DCB fähig ist und alle deine Anforderungen wie PFC etc. supportet ist z.B. ein Brocade
VDX6720-16-F
mit 16 Ports 10 GiG Ethernet SFP+.

Hallo nochmal. Ist zwar eine Weile her, aber ich bin zu Potte gekommen. Seit heute werkelt in der Tat ein VDX 6720-60 als Core Switch für die Server. Der passt in der Funktion dann auch wunderbar in den Neubau - sobald der denn steht - und hat auch noch solide Port-Reserven was die Anbindung der Etagenswitche angeht.

Ganz nebenbei noch ein klasse Merkmal entdeckt: TRILL! Mal schaun ob sich noch Budget für Etagenswitche mit TRILL findet, oder ob es ohne gehen muss.

So schnell war das Netzwerk auf jeden Fall noch nie, und die User sind auch happy. Was will Admin mehr?

Grüße,
Philip
Bitte warten ..
Mitglied: aqui
30.01.2015, aktualisiert um 17:16 Uhr
Fabric Switches sind schon was Feines....
Preiswerter bei den 10 Gig SFPs gehts nicht:
http://www.ebay.de/itm/161293213357?_trksid=p2060778.m2749.l2649&ss ...
Funktioniert fehlerfrei und wenn man sich beeilt bekommt man von den 91 noch welche ab
Binde deine Etagenswitches mit einem vLAG und LACP an den VDX an, dann brauchst du kein Trill, bist Spanning Tree frei und hast gleich doppelte Performance mit einem Failover. Das kann jeder x-belibige Etagenswitch.
Bitte warten ..
Mitglied: psannz
30.01.2015, aktualisiert um 17:35 Uhr
Zitat von aqui:
Binde deine Etagenswitches mit einem vLAG und LACP an den VDX an, dann brauchst du kein Trill, bist Spanning Tree frei und hast
gleich doppelte Performance mit einem Failover. Das kann jeder x-belibige Etagenswitch.

Das würde auf jeden Fall funktionieren. Der Vorteil von einer vollen TRILL Architektur wäre halt dass ich problemfrei Ringe bilden könnte. À la diesem hier:

........./---------------Etage-------------\
......../....................|..................\
COREpri ------------Etage----------COREsek
...|....\ ...................|................../....|
...|.....\----------------Etage------------/.....|
...|................................................|
...\-----------------------------------------------/ ....Back to the roots

Aber sei es drum, einen Tot muss man sterben. Lässt sich sicher auch auf anderem Wege und ohne TRILL vernünftig lösen.

Und danke für den Tip mit den Transceivern. Der Preis ist ja der Hammer...
Bitte warten ..
Mitglied: aqui
30.01.2015 um 17:38 Uhr
Der Vorteil von einer vollen TRILL Architektur wäre halt dass ich problemfrei Ringe bilden könnte.
Da hast du absolut Recht !
Setzt du sonst noch Brocade ein ??
Als Alternative zu STP gibt es dort MRP was Ringstrukturen beherrschbar macht.
Alternativ dann Horizontal Stacking (Long Distance Stacking mit Glasfaser) dort klappen auch Ringstrukturen.
Mit STP sind Ringe immer tödlich.
Der kleinste ist ein 6710T oder 6740T-1G und alls Accessswitches sind die jenseits von Gut und Böse preislich
Bitte warten ..
Mitglied: psannz
30.01.2015, aktualisiert um 18:42 Uhr
Zitat von aqui:

Setzt du sonst noch Brocade ein ??
Als Alternative zu STP gibt es dort MRP was Ringstrukturen beherrschbar macht.
Alternativ dann Horizontal Stacking (Long Distance Stacking mit Glasfaser) dort klappen auch Ringstrukturen.

Die Etagenswitche werden wohl DGS-1510-28X, etvl auch -52X. Die Teile bieten 4 SFP+ Ports und bilden Stacks über bis zu 6 Geräte @ ~300€. Stacking Ring und redundanter Connect zum VDX wäre also kein Problem.

Preislich sind die Teile nicht übel, und mit der Vorgängerserie habe ich keine schlechten Erfahrungen gemacht.

Allerdings können die leider weder vLAG, noch MRP.

Mal schaun was sich auf dem Renew Markt tut.
Bitte warten ..
Mitglied: aqui
LÖSUNG 30.01.2015, aktualisiert um 23:41 Uhr
vLAG ist auch nur ein Ausdruck im VDX Bereich weil du einen LACP LAG ja dort über mehrere Geräte ziehen kannst was ohne Fabric oder wenigstens eine Aggregation Virtualisierung ja nicht möglich ist.

Die Endgeräte sprechen also nur simplen reinen LACP LAG um auf den VDX Port zu kommen und der hat dort einen Etherchannel konfiguriert:
interface TenGigabitEthernet 1/0/10
description LACP Uplink zum DCS
no fabric isl enable
no fabric trunk enable
fabric neighbor-discovery disable
channel-group 100 mode active type standard
lacp timeout long
no shutdown
!
Interface PortChannel 100
description LAG zum DCS, Raum xyz
(speed 1000)
--> Nur wenn du den DCS mit 1 GiG anbindest
switchport
switchport mode trunk
switchport trunk allowed vlan all
no switchport trunk tag native-vlan
no shutdown
!

Auf den DCS dann einen simplen Trunk mit LACP im GUI klicken.
Bitte warten ..
Mitglied: psannz
30.01.2015 um 23:40 Uhr
Dank dir @aqui, werde mich da noch gut einlesen müssen.

Sollten noch Fragen oder offenen Punkte auftauchen werd ich einen neuen Fred aufmachen.

Wünsch dir noch ein schönes Wochenende,
Philip
Bitte warten ..
Mitglied: aqui
31.01.2015 um 09:37 Uhr
werde mich da noch gut einlesen müssen.
...oder hier nachfragen
Bitte warten ..
Neuester Wissensbeitrag
Humor (lol)

Linkliste für Adventskalender

(3)

Information von nikoatit zum Thema Humor (lol) ...

Ähnliche Inhalte
Heiß diskutierte Inhalte
Windows Server
DHCP Server switchen (25)

Frage von M.Marz zum Thema Windows Server ...

SAN, NAS, DAS
gelöst HP-Proliant Microserver Betriebssystem (14)

Frage von Yannosch zum Thema SAN, NAS, DAS ...

Grafikkarten & Monitore
Win 10 Grafikkarte Crash von Software? (13)

Frage von Marabunta zum Thema Grafikkarten & Monitore ...

Windows 7
Verteillösung für IT-Raum benötigt (12)

Frage von TheM-Man zum Thema Windows 7 ...