der-phil
Goto Top

Erfahrungen mit Force10 und Mellanox Switchen

Hallo!

Ich bin gerade auf der Suche nach neuen Switchen - hauptsächlich im 40GBit/s-Umfeld.

Interessant finden ich aktuell die Geräte von Mellanox und Force10/Dell (S und Z-Serie - bisher von Force10).

Wir sind eure Erfahrungen mit den aktuellen Geräten der beiden Hersteller?

- Beide sind zumindest schon einmal vorbereitet, um eventuell ONIE-Betriebssysteme zu nutzen (sehe ich heute noch nicht, kann aber ja kommen).
- Bei beiden gibt es 10/40/100GbE mit Breakout-Kabeln. Beide
- Beide gehen stark auf MLAG/VLT
- Force10/Dell unterstützt noch einige, interessante Features mehr (Ring-Protokoll, mVLT)

Was mir bisher aufgefallen ist, was ich ziemlich unschön bei Force10/Dell finde, ist die Art VLANs zu konfigurieren. Bisher bin ich gewohnt:
interface XY
switchport trunk allowed vlan ....

Bei Force10 scheint es genau anders herum zu sein:

interface vlan 100
tagged PORTXY

Es scheint auch keine schöne Option zu geben, einen "vollen Trunkport" zu erzeugen, der einfach immer alle VLANs durchlässt - auch nachträglich Angelegte.

Danke für eure Erfahrungen

Grüße
Phil

Content-Key: 349994

Url: https://administrator.de/contentid/349994

Ausgedruckt am: 19.03.2024 um 03:03 Uhr

Mitglied: brammer
brammer 25.09.2017 um 08:31:18 Uhr
Goto Top
Hallo,

Ich kenne Force10 aus der Zeit vor Dell.....Da waren die Richtig gut....
Seit die zu Dell gehören sind die Kritiken nicht mehr so gut.....

Das erste Konfigurations Snippet weißt auf Cisco hin..... wieso bleibst du nicht dabei?

brammer
Mitglied: Der-Phil
Der-Phil 25.09.2017 um 08:37:46 Uhr
Goto Top
Hallo!

Danke für die Antwort!

Cisco habe ich bisher nirgends im Einsatz. Bei Cisco bin ich einfach preislich extrem hoch, wenn ich wirklich 40GbE oder 25/100 GbE künftig einsetzen will. Deswegen schaue ich jetzt "in Reihe zwei", was noch in Frage käme. Force10 ist preislich inzwischen eben richtig interessant, genau wie Mellanox.

Ich betreue kein klassisches Rechenzentrum, sondern die IT eines Mittelständlers mit zwei kleinen, eigenen, selbst gehosteten RZs. Ich brauche hohe Bandbreiten, aber nur einen Bruchteil der Enterprise-Features.

Grüße
Phil
Mitglied: aqui
aqui 25.09.2017 um 09:56:37 Uhr
Goto Top
Mellanox ist ein absoluter Exot. Generell im Ethernet Bwereich unbekannt und mehr was im HPC Umfeld und Infiniband Vernetzung. Ethernet ist bei denen eher ne Nische.
Force 10 ist von Dell gekauft und deren Fokus ist nicht mehr Netzwerke. Entsprechend sieht man das an der massiv hinterherhinkenden Entwicklung. Frage was Dell in Zukunft mit dem Anhängsel macht. Siehe Feedback oben.
Brocade hat ein sehr gutes 40G Portfolio mit ICX 7450, 7750 und VDX Modellen. Speziell die VDX und deren VCS Fabrik wäre einen Blick wert, allerdings ist auch deren Zukunft nach dem Vewrkauf an Broadcom und der Zerteilung der IP Sparte eher ungewiss.
Bleibt dann eigentlich nur noch Arista und Cisco. Arista ist sicher auch einen Blick wert.
Mitglied: Der-Phil
Der-Phil 25.09.2017 um 10:06:31 Uhr
Goto Top
Hallo!

Das mit Dell ist die große Frage, aber diese spiegelt sich auch im Preis wider.

Das mit dem Exotenstatus sehe ich überall, aber ich frage mich, ob es schlecht ist. Mellanox hat nach allem, was ich weiß, zumindest einen guten Ruf und die Produkte wirken interessant, aber scheinbar ist die Marktdurchdringung klein. Was ich bisher gefunden habe, werden die Switche im Storageumfeld schon öfter eingesetzt, was ja nicht schlecht sein muss.

Arista schaue ich mir mal genauer an. Dazu hatte ich noch nie Berührungspunkte...

Grüße
Phil
Mitglied: 108012
108012 25.09.2017 um 18:53:27 Uhr
Goto Top
Hallo zusammen,

vorab einmal etwas zu den Anbietern selber, bei Cisco und anderen Anbietern kann man einen Lehrgang
machen und sich zertifizieren lassen, bei Mellanox muss man bzw. sollte man einen Lehrgang oder eine
Schulung absolviert haben, sonst wird es schnell eng mit den Leuten die helfen können wenn mal etwas
nicht passt. Im Storage und SAN Umfeld sind nur wenige Unternehmen neben Mellanox, denn die steigen
gerade in das 200 GBit/s Umfeld ein bzw. damit richtig durch. Klar das dann ältere Hardware günstiger
zu erhalten ist! Aber selbst die ist den meisten Leuten immer noch viel zu teuer, allerdings auf der anderen
Seite auch immer schnell vergriffen, denn mit den Switchen und Karten von ein und dem selben Hersteller
bleiben wir mal hier bei Mellanox, wird einem dann aber auch schon 56 GBit/s pro Port geboten und bei
Dual Port Karten sind das dann immerhin auch schon wieder ~112 GBit/s, das sollte auch mit
berücksichtigt werden. Mellanox arbeitet nach bzw. mit einem Spine Leaf Konzept, das heißt
dann aber auch für den Admin das er nicht nur Leaf Switche organisiert sondern auch die Spine
Switche anschafft, mittels derer man dann das extra SAN Netzwerk an das "normale"
Firmennetzwerk anbindet. Mal ein Beispiel dazu;
  • 2 x Mellanox SX6036 (Spine) und 4 x SX6012 (Leaf)
Redundant ausgelegt im Spine und Leaf
  • 1 x Mellanox SX6036 (Spine) und 2 x SX6012 (Leaf)
Einfach ausgelegt im Leaf und einfach ausgelegt im Spine

Ich bin gerade auf der Suche nach neuen Switchen - hauptsächlich im 40GBit/s-Umfeld.
Wie schon oben weiter beschrieben, würde ich mich an jemanden wenden der einem bei Mellanox richtig
helfen kann, wenn es denn dazu kommen sollte, zum Beispiel Hamburgnet wäre hier wohl die
richtige Adresse für so eine professionelle Beratung.

Interessant finden ich aktuell die Geräte von Mellanox und Force10/Dell (S und Z-Serie - bisher von Force10).
Was nützt einem günstige Hardware mit schlechten Kritiken wenn der Laden 24/7 laufen muss?

Wir sind eure Erfahrungen mit den aktuellen Geräten der beiden Hersteller?
Wer ein eigenes SAN Netzwerk aufziehen will und das dann an das bereits bestehende Netzwerk anbinden möchte
ist mit Mellanox genauso gut beraten wie mit anderen Herstellern, und hat noch den Vorteil das man auf 56 GBit/s
ausweichen oder aufstocken kann, wenn man die Karten und Switche gleich richtig auswählt.
- 10 GBit/s mittels einer 10 GBit/s Karte
- 40 GBit/s mittels einer 40 GBit7s Karte
- 56 GBit/s mittels einer 56 GBit/s Karte (single Port)
- 2 x 56 GBit/s mittels einer 56 GBit/s Karte (dual Port)

- Bei beiden gibt es 10/40/100GbE mit Breakout-Kabeln. Beide
- Beide gehen stark auf MLAG/VLT
Was brauchst Du bzw. Ihr denn nun wirklich? Braucht Ihr nur mehr Durchsatz im LAN und Storagebereich
oder sind dort die Zugriffszeiten im Storagebereich zu langsam?

- Force10/Dell unterstützt noch einige, interessante Features mehr (Ring-Protokoll, mVLT)
Sicherlich nicht schlecht nur dann eben auch gleich bei Cisco fragen bzw. nachsehen ob die das nicht
auch haben oder bieten und dann eben mit einer homogenen Netzwerkinfrastruktur arbeiten!!! Dann ist
auch wirklich alles zueinander kompatibel, oder aber ein homogenes LAN und ein daran angeschlossenes
aber eigenes SAN Storage Netzwerk, macht auch Sinn und man hat dann auch mehr Möglichkeiten! Mit den
Dual Port Karten kann man bei Clustern natürlich einen Port an den Switch anschließen oder auch redundant
an die Leaf Switche anschließen, aber eben auch einen Port zum direkten synchronisieren benutzen dann
allerdings nur mit 40 GBit/s.

Was mir bisher aufgefallen ist, was ich ziemlich unschön bei Force10/Dell finde, ist die Art VLANs zu
konfigurieren. Bisher bin ich gewohnt:
Wie gesagt für Cisco bekommt man hinterher mehr oder öfters Hilfestellungen, aber mit einer Schulung
kann man dann auch mittels bezahlter Unterstützung von Profis sicherlich alle Probleme schnell lösen.
Sind eben eventuell Zusatzkosten mit im Spiel.

Das mit Dell ist die große Frage, aber diese spiegelt sich auch im Preis wider.
Was soll es denn groß, wenn es funktionieren muss, und dann eventuell noch 24/7 oder redundant oben drauf,
da sind die Euronen dann schon besser angelegt.

Das mit dem Exotenstatus sehe ich überall, aber ich frage mich, ob es schlecht ist.
Also Infinibandanbieter und Hardwarehersteller waren früher eben eher im größeren Umfeld zu finden und
da gibt es sicherlich einige, aber eben auch nicht soooo viele weil das Marktsegment das eben nicht hergibt.

Nur die Grenzen verschieben sich eben auch gerne mal hin und wieder!!! Also ich möchte damit andeuten
und sagen, dass heute eben auch sehr viele bzw. mehr und mehr auch kleinere Firmen mit sehr vielen
Datenmengen und vor allem auch sehr großen Datenmengen umgehen müssen und diesen wollen,
sollen oder müssen dann auch schnell bewegt und angeboten werden. Das kann aber Cisco, Juniper
und Brocade auch alles mit abdecken, es kommt eben nur darauf an was man denn nun wirklich braucht
und wie lange es halten soll! Bei einer Investitionssumme von mehreren tausend Euros würde ich auch
gerne sehen wollen, dass sich die technik möglichst lange im Unternehmen hält und somit gut amortisiert!

Mellanox hat nach allem, was ich weiß, zumindest einen guten Ruf und die Produkte wirken interessant,
aber scheinbar ist die Marktdurchdringung klein.
Das würde ich nun weniger behaupten wollen denn was nützt mit einer Supercomputer der schnell rechnet
aber das SAN oder der Storagebereich verreckt mir? Was nützt die Größe von Amazon, Google und Co. wenn
die Daten nicht schnell bereit gestellt werden?

Was ich bisher gefunden habe, werden die Switche im Storageumfeld schon öfter eingesetzt, was ja nicht
schlecht sein muss.
Wofür benötigst Du (Ihr) denn diese Switche nun wirklich oder besser genau?
Wenn man damit zwei oder mehr Server zu einem Cluster zusammen schließt und synchronisiert werden muss
und dann noch zwei oder mehrere SANs damit zugehören ist das schon nett mit den 56 GBit/s pro Port! Was habt
Ihr denn für Switche zur zeit bei Euch am laufen!?

Hier mal ein paar Meldungen von und über Mellanox:

Mellanox: (2016)
Virtual Protocol Interconnect (VPI) ermöglicht es standard Netzwerk-, Clustering-, Storage- und Managementprotokollen, nahtlos über jedes konvergente Netzwerk zu operieren, dank eines konsolidierten Softwarepaketes. Jeder Port kann via Infiniband, Ethernet, Data Center Bridging (DCB) Fabric und RDMA over Converged Ethernet (RoCE) operieren. VPI vereinfacht das I/O Systemdesign und erleichtert IT Managern die Einrichtung einer Infrastruktur, die den Herausforderungen dynamischer Rechenzentren gewachsen ist.

ComConsult: (2012)
Mellanox, der weltweit nach Umsatz führende Infiniband-Hersteller, hat seinen Gewinn im letzten Quartal erheblich gesteigert. Der Gewinn stieg um das 15-fache (!) gegenüber dem 2Q2011. Primärer Umsatzträger sind die SwitchX-ASICs und die dazu passenden ConnectX Adapter. Die Markteinführung des FDR-IB (FDR = Fourteen Data Rate 56 Gbit/s.) kann nur als grandios bezeichnet werden. Die Aussichten für die nächsten Quartale sind sogar noch besser. Spannend ist aber auch, dass der Besitzer konvergenter Ethernets von den IB-Qualitäten profitieren kann.

SearchStorage: (2010)
The merger leaves two InfininBand vendors — Mellanox and QLogic, which is primarily a Fibre Channel HBA vendor. Both have their sights on Ethernet as well, as Voltaire did before Mellanox bought it today for $176 million.

Liste und Preise von zertifizierter überholter Mellanox Hardware (also gebraucht)

Gruß
Dobby
Mitglied: Der-Phil
Der-Phil 26.09.2017 um 08:36:37 Uhr
Goto Top
Hallo!

Zuerst: Dobby - Ich bin begeistert von Deiner Antwort! Vielen Dank, dass Du Dir die Zeit genommen hast, so tief ins Thema zu gehen. Das weiß ich wirklich sehr zu schätzen.

Vielleicht erst einmal ganz allgemein:
Ich habe aktuell Dell N4000-Switche im Einsatz . Es gibt zwei, kleine RZ, die 150m auseinander sind und eine voll redundant ausgelegte Infrastruktur.
In beiden Gebäuden sind N4000-Switche - nicht gestackt, mit RSTP redundant verbunden. Es gibt diverse "Stretch-Cluster" und "Stretch-/Metro-SAN-Server", die jeweils in beiden RZs stehen, sowie einige (ca. 40 Server), die jeweils mit Failover-Bonds an zwei N4000-Switchen hängen

--> Ich habe keine Spline-Leaf - auch keine klassische Core-/Aggregator-Infrastruktur
--> Es gibt wenige, aber recht performante Systeme, die auch ordentlich Last bekommen, da ich eine internationale Infrastruktur von hier bediene.


Warum ich wechseln will:
Die N4000-Switche bieten keine vernünftige Möglichkeit, ohne Spanning-Tree zu arbeiten, weswegen diverse Links brach liegen, obwohl mir die Bandbreite ausgeht.
Die MLAG-Imlementierung ist ein Witz (Single-Homed-Hosts nicht wirklich möglich), TRILL, etc. nicht implementiert.

Entsprechend brauche ich eine Möglichkeit, die "wenigen Systeme" performant zu verbinden.

Sonst hängen an meinem "Mini-Backbone" noch einige Etagenswitche - auch diese redundant an je zwei N4000 mit RSTP.

Ich nutze keinerlei L3-Funktionen!


Interessant finden ich aktuell die Geräte von Mellanox und Force10/Dell (S und Z-Serie - bisher von Force10).
Was nützt einem günstige Hardware mit schlechten Kritiken wenn der Laden 24/7 laufen muss?
...Wenn Die Geräte nichts taugen überhaupt nichts! Genau deswegen versuche ich ja Input zu bekommen. Zu Force10 finde ich praktisch keine Informationen, aber zu Mellanox auch nicht viel. Dazu kommt, dass ja gerne im Internet Dinge bewertet werden, die der Bewertende nicht kennt. Deswegen ja mein Post hier.

Wir sind eure Erfahrungen mit den aktuellen Geräten der beiden Hersteller?
Wer ein eigenes SAN Netzwerk aufziehen will und das dann an das bereits bestehende Netzwerk anbinden möchte
ist mit Mellanox genauso gut beraten wie mit anderen Herstellern, und hat noch den Vorteil das man auf 56 GBit/s
ausweichen oder aufstocken kann, wenn man die Karten und Switche gleich richtig auswählt.
- 10 GBit/s mittels einer 10 GBit/s Karte
- 40 GBit/s mittels einer 40 GBit7s Karte
- 56 GBit/s mittels einer 56 GBit/s Karte (single Port)
- 2 x 56 GBit/s mittels einer 56 GBit/s Karte (dual Port)
Ich würde die Mellanox-Switche für SAN und LAN nutzen und eher auf die Ethernet-Schiene gehen. Wenn ich es richtig sehe, unterstützen die neuen Ethernet-Serien auch keinen Mischbetrieb 56/40GbE


- Bei beiden gibt es 10/40/100GbE mit Breakout-Kabeln. Beide
- Beide gehen stark auf MLAG/VLT
Was brauchst Du bzw. Ihr denn nun wirklich? Braucht Ihr nur mehr Durchsatz im LAN und Storagebereich
oder sind dort die Zugriffszeiten im Storagebereich zu langsam?
Der Hauptpunkt ist, dass ich Switche suche, die zumindest vernünftig MLAG beherrschen und bei der Bandbreite ist 10GbE zu wenig.


- Force10/Dell unterstützt noch einige, interessante Features mehr (Ring-Protokoll, mVLT)
Sicherlich nicht schlecht nur dann eben auch gleich bei Cisco fragen bzw. nachsehen ob die das nicht
auch haben oder bieten und dann eben mit einer homogenen Netzwerkinfrastruktur arbeiten!!! Dann ist
auch wirklich alles zueinander kompatibel, oder aber ein homogenes LAN und ein daran angeschlossenes
aber eigenes SAN Storage Netzwerk, macht auch Sinn und man hat dann auch mehr Möglichkeiten! Mit den
Dual Port Karten kann man bei Clustern natürlich einen Port an den Switch anschließen oder auch redundant
an die Leaf Switche anschließen, aber eben auch einen Port zum direkten synchronisieren benutzen dann
allerdings nur mit 40 GBit/s.
Hier kommt wieder das Problem mit den wenigen Geräten bei mir. Mein Storage-Netzwerk besteht aktuell aus ca. 15 Geräten. Dafür eine eigene Infrastruktur finde ich schwierig.

Noch einmal vielen Dank für eure Tipps!

Grüße
Phil
Mitglied: 108012
108012 27.09.2017 um 19:51:50 Uhr
Goto Top
Ich habe keine Spline-Leaf - auch keine klassische Core-/Aggregator-Infrastruktur

infiniband-essentials-every-hpc-expert-must-know-40-638

infiniband-essentials-every-hpc-expert-must-know-42-638

Es gibt wenige, aber recht performante Systeme, die auch ordentlich Last bekommen, da ich eine internationale
Infrastruktur von hier bediene.
Also das ist dann aber eher schon ein wenig in Richtung Brocade mit Trill, wenn man hier weder die eine noch
die andere Implementierung hat und Routing gar nicht vorhanden ist dann sollte man sich doch einmal Geräte
von Brocade anschauen.

Erkennst Du Dich (Euch) hier wieder, oder ist das etwas was für die Zukunft auch bei Euch laufen könnte?
ToR vs EoR
ToR vs EoR

tor

Entsprechend brauche ich eine Möglichkeit, die "wenigen Systeme" performant zu verbinden.

infiniband-essentials-every-hpc-expert-must-know-61-638

Sonst hängen an meinem "Mini-Backbone" noch einige Etagenswitche - auch diese redundant an je zwei N4000 mit RSTP.
- Nimm Dir dann lieber "normale" Anbieter die auch solche Sachen unterstützen und dann zusätzlich Mellanox
- Oder nimm kein Melanox und realisiere es mit Force 10 oder Arista.

Ich nutze keinerlei L3-Funktionen!
Hier mal zwei Slideshows auf Slideshare, die einem die Grundlagen zeigen und dann auch noch etwas über
die Einsatzzwecke von Mellanox & InfiniBand. Recht schnell durch geklickt, aber trotz alledem informativ.
InfiniBand Essentials
Mellanox for OpenStack

Beides in einem gibt es auch aber nicht wie Du es möchtest, bei Mellanox schließt immer die Hardware an
Director Switche (Leaf) an und diese dann an Edge Switche (Spine) und eben über diese werden dann die
Storage und SAN Geräte mit den Clustern verbunden.
mellanox-for-openstack-openstack-201410-39-638

Ich würde die Mellanox-Switche für SAN und LAN nutzen und eher auf die Ethernet-Schiene gehen.
Wenn ich es richtig sehe, unterstützen die neuen Ethernet-Serien auch keinen Mischbetrieb 56/40GbE
Da geht noch viel mehr.

mellanox

mellanox-for-openstack-openstack-201410-15-638

infiniband-essentials-every-hpc-expert-must-know-65-638

Hier kommt wieder das Problem mit den wenigen Geräten bei mir.
Dann ist CLOS3 eventuell das Ding für Euch. Es riecht vom kleinen 2 fach Cluster mit redundantem SAN
bis hin zu 108 Geräten in der Endausbaustufe.

infiniband-essentials-every-hpc-expert-must-know-43-638

infiniband-essentials-every-hpc-expert-must-know-42-638

Mein Storage-Netzwerk besteht aktuell aus ca. 15 Geräten. Dafür eine eigene Infrastruktur finde ich schwierig.
mellanox-for-openstack-openstack-201410-15-638

Gruß
Dobby

infiniband-essentials-every-hpc-expert-must-know-15-638
infiniband-essentials-every-hpc-expert-must-know-41-638
Mitglied: Der-Phil
Der-Phil 28.09.2017 um 12:03:05 Uhr
Goto Top
Hallo Dobby, mein Held (ernst gemeint)!

Bei mir trifft wirklich die EoR-Struktur noch am ehesten zu.

Eine Sache verstehe ich einfach nicht:

Zitat von @108012:
Beides in einem gibt es auch aber nicht wie Du es möchtest, bei Mellanox schließt immer die Hardware an
Director Switche (Leaf) an und diese dann an Edge Switche (Spine) und eben über diese werden dann die
Storage und SAN Geräte mit den Clustern verbunden.

Warum ist das so dogmatisch. Nehmen wir an, ich habe eine kleine Infrastruktur, bei der ich alle Server an vier Switche anschließen kann, oder eine Leaf-Spine-Infrastruktur mit nur wenigen Storage-Systemen. Wäre es dann nicht sinnvoller, die Storage-Systeme an die Spine-Knoten anzuschließen (mir ist klar, dass damit die Begrifflichkeit quatsch ist). Der Vorteil wäre doch, dass die Server, die z.B. auf die SAN-Systeme zugreifen nur einen "Hop" haben und nicht noch erst von Leaf zu Spine zu Leaf müssen, oder?


Hier kommt wieder das Problem mit den wenigen Geräten bei mir.
Dann ist CLOS3 eventuell das Ding für Euch. Es riecht vom kleinen 2 fach Cluster mit redundantem SAN
bis hin zu 108 Geräten in der Endausbaustufe.


infiniband-essentials-every-hpc-expert-must-know-42-638
Auch hier: Was für einen Vorteil (bis auf die Skalierbarkeit) hat dieser Aufbau im Vergleich dazu, die vier Switche als zwei MLAG-Domains zu konfigurieren und die Spine-Knoten wegzulassen?

Noch ein anderer Hersteller ist mir über den Weg gelaufen: Was haltet ihr von Arista? Auch hier wären 40GbE-Modelle mit interessanten Datenblättern preislich attraktiv zu bekommen.

Grüße und Danke!