deredvtyp
Goto Top

Trunk (LACP) mit 3 Leitungen Übertragungsrate

Hallo zusammen, ich habe gestern eine Testumgebung (mit einem HP Switch 2910-48G) und 2 Computern (2008R2 + Win7) aufgebaut.
An beiden Rechnern habe ich ein Teaming mit 3 Nic´s mit Dynamic Link Aggrregation erstellt.

10 Daten mit einer Einzelgröße von 800MB sollen übertragen werden. Die Geschwindigkeit bleibt bei ca. 100MB/s.
Wenn ich die gleiche Datenmenge zurückkopieren (2 Kopiervorgänge gleichzeitug), bekommt jede Leitung ca. 50MB/s.
Warum erhöht sich nicht die Geschwindigkeit?

Liebe Grüße
Markus

Content-Key: 324544

Url: https://administrator.de/contentid/324544

Printed on: April 19, 2024 at 19:04 o'clock

Member: aqui
aqui Dec 22, 2016 updated at 08:43:28 (UTC)
Goto Top
eine Testumgebung (mit einem HP Switch 2910-48G)
Igitt HP...du Armer.
An beiden Rechnern habe ich ein Teaming mit 3 Nic´s mit Dynamic Link Aggrregation erstellt.
Simpler Standard also. Wichtig hier ist das du hoffentlich ein Teaming auf Basis 802.3ad mit LACP ausgewählt hast ?? Anderes können die Switches nicht oder nur sehr bedingt.
Winblows hat eine Menge unsinniger Teaming Optionen und nur die obige macht Sinn auf einen Switch.
Warum erhöht sich nicht die Geschwindigkeit?
Das kannst du in diesem Thread ganz genau nachlesen:
Cisco LAG-LACP an Synology RS3614xs+ Bonding Bandbreite zu niedrig

Fazit: Teaming bzw. Link Aggregation basiert auf einem Hashing Verfahren was lediglich eine Verteilung bewirkt und damit die Kapazitäterhöht, nicht aber die physische Transfergeschwindigkeit. Ist auch logisch, wenn man sich die Physik dahinter mal vor Augen führt.
Gut möglich aber auch das du einen Fehler in der Konfig gemacht hast und dein Trunk gar nicht gebildet ist. Meist passiert das auf der MS bzw. NIC Seite da hier ein falsches Verfahren gewählt wird.
Sinnig wäre hier gewesen mal ein show lacp oder ein show trunk Output vom HP Switch zu posten um das querzuchecken ob der LACP Trunk überhaupt aktiv ist, aber leider hats dafür ja nicht gereicht. face-sad
Weitere Grundlagen findest du u.a. auch hier:
Netzwerk Management Server mit Raspberry Pi
Mitglied: 108012
108012 Dec 22, 2016 updated at 09:59:02 (UTC)
Goto Top
Hallo,

Warum erhöht sich nicht die Geschwindigkeit?
Weil Du eventuell nur active/passive konfiguriert hast!? Versuch doch einmal active/active zu konfigurieren.

Eventuell würde sich auch auf der Switch Seite ein statisches LAG mittels Round Robin oder weigthed Round Robin
anbieten, dort ändert man ja in der Regel weniger so eine Konfiguration, oder? Um wirklich mehr hin zubekommen
sollte man auf beiden Seiten eine 10 GBit/s Karte einbauen und dann einen 10 GBit/s Switch benutzen der dann
auch wirklich etwas im Durchsatz ändert. Ansonsten würde, wenn Ihr sehr viele Mitarbeiter habt, die alle auf einen
Server zugreifen wollen nur etwas ändern wenn der Server via LAG angebunden wird und wenn dann genug Last
erzeugt wird. Sonst wird das wohl eher weniger etwas werden.

Gruß
Dobby
Member: deredvtyp
deredvtyp Dec 22, 2016 at 10:35:09 (UTC)
Goto Top
Servus Aqui, sorry hatte ich ganz vergessen zu schreiben. Am Switch habe ich ein Trunk mit Lacp eingerichtet.
Es wird auch angezeit das Lacp Nachbarn vorhanden sind.

show trunk zeigt mir den korrekt gebildeten Trunk mit den gewählten Ports und Lacp an.
Member: deredvtyp
deredvtyp Dec 22, 2016 at 10:36:38 (UTC)
Goto Top
Servus Dobby, du meinst active/active auf Windows Seite?
Leider kann ich das bei einem dynamischen Trunk (Teaming) nicht umstellen. Nur Statisch setzt er alle Nics auf aktiv
Mitglied: 108012
108012 Dec 22, 2016 at 10:40:48 (UTC)
Goto Top
Nur Statisch setzt er alle Nics auf aktiv
und hast Du das einmal ausprobiert? Gibt es da den noch etwas wie Round Robin oder RR bei Dir als Auswahlmöglichkeit?

Gruß
Dobby
Member: deredvtyp
deredvtyp Dec 22, 2016 at 10:54:24 (UTC)
Goto Top
habe ich, natürlich habe ich auch auf dem Switch den Trunk zu "trunk statt lacp" geändert. Resultat war gleiches Ergebnis.
Member: aqui
aqui Dec 22, 2016 at 11:23:57 (UTC)
Goto Top
Servus Dobby, du meinst active/active auf Windows Seite?
Kollege Dobby meint hier nicht das die Nic bzw. deren Link active ist sondern der LACP State ist hier gemeint.
Man kann per Setup einstellen ob der LACP Member passive sein soll, also auf einen active LACP Connect warten soll oder ob er selber versuchen soll im Active Mode die LACP Sesion zu initiieren.
Generell setzt man beide Seiten immer in den Active Mode, denn so negotiaten die Partner dann dynmaisch wer active und passive ist.
In seltenen Fällen schlägt das fehl, dann macht es Sinn eine Seite active und eine Seite passive zu setzen in den klassischen Rollen. So kommt zu 99,99% immer eine LACP Session zustande.
Passive Passive sollte man natürlich niemals machen. Es erübrigt sich vermutlich eine Erklärung warum..!

Da dein LACP Trunk aber laut show commands sauber gebildet wird bist du ja safe hier.
Bei einer Server Anbindung hat der Server natürlich nur eine Mac Adresse. Der 802.3ad Balancing Algorythmus basiert eben nur auf dem Hashing der Macs oder IPs. Vermutlich wird dein Server also immer auf einem der 3 Links festgenagelt sein.
Bessere Switches rechnen den TCP und UDP Port noch mit ins Hashing ein. Die gruseligen HP Gurken sopporten sowas aber mal wieder nicht.
Ggf. kannst du aber deren Setup aufs IP Hashing umstellen um eine etwas bessere Granularität zu bekommen bei den Switches sofern sie das supporten.
natürlich habe ich auch auf dem Switch den Trunk zu "trunk statt lacp" geändert.
Was meinst du mit diesem technischen Kauderwelsch ?? Bahnhof ? Ägypten ?
Klingt irgendwie nach Konfig Blödsinn face-sad

Wenn du zudem mal SNMP aktivierst auf dem HP Switch kannst du dir die RX und TX Last der einzelnen 3 Links mit einem kleinen Tool grafisch anzeigen lassen.
So bekommst du optischen einen sehr guten Eindruck wie die Lastverteilung tatsächlich funktioniert:
http://leonidvm.chat.ru
Das Tools startest du 3mal mit der entsprechenden Link OID und los gehts.
Mitglied: 108012
108012 Dec 22, 2016 at 12:34:45 (UTC)
Goto Top
Hallo nochmal,

Hallo zusammen, ich habe gestern eine Testumgebung (mit einem HP Switch 2910-48G) und 2 Computern (2008R2 + Win7) aufgebaut.
An beiden Rechnern habe ich ein Teaming mit 3 Nic´s mit Dynamic Link Aggrregation erstellt.
Hier sollte man noch einmal darauf hinweisen dass der Switch und der Server auf beiden Seiten gleich eingestellt sind und dann wieder
der Switch und der Win7 PC, denn hierbei handelt es sich um zwei LAGs und nicht um eines was einfach nur Durch den Switch durchgeleitet
wird.

Servus Dobby, du meinst active/active auf Windows Seite?
Nein ich meinte das hier beschriebene:

Dynamic Link Aggregation - Link Aggregation Control Protocol (LACP)

Das Link Aggregation Control Protocol (LACP) erlaubt darüber hinaus den Austausch von Informationen bezüglich der Link Aggregation zwischen den zwei Mitgliedern einer Link Aggregation. Diese Informationen werden in LACPDUs (Link Aggregation Control Protocol Data Units) verpackt.

Bei LACP kann jeder einzelne Port als Active LACP oder Passive LACP konfiguriert werden:
• Passive LACP: der Port bevorzugt von sich aus keine LACPDUs zu übertragen. Nur wenn die Gegenstelle Active LACP hat, überträgt der Port LACPDUs (preference not to speak unless spoken to).
• Active LACP: der Port bevorzugt LACPDUs zu übertragen und somit das Protokoll zu sprechen - unabhängig davon ob die Gegenstelle Passive LACP hat oder nicht (a preference to speak regardless).

LACP bietet gegenüber einer statischen Link Aggregation folgende Vorteile:[10]
• Ein Ausfall eines physischen Links wird selbst dann erkannt, wenn die Punkt-zu-Punkt Verbindung über einen Media Konverter läuft und damit der Link-Status am Switchport auf Up bleibt. Da LACPDUs auf dieser Verbindung damit ausbleiben, wird dieser Link aus der LAG entfernt. Somit gehen darüber keine Pakete verloren.
• Die beiden Geräte können sich gegenseitig die LAG Konfiguration bestätigen. Bei statischer Link Aggregation werden Konfigurations- oder Verkabelungsfehler oft nicht so schnell erkannt.


Auszug aus dem Thomas Krenn Wiki
Link Aggregation Group



Konfigurieren des LAGs am Switch als Beispiel anhand des Thomas Krenn Wiki´s - LAG beim modular Server

Man sollte sich auch nicht durch die ganzen unterschiedlichen Begriffe verrückt machen lassen, das geht hier schnell denn
jeder nennt das bilden einer LAG ganz anders und man rennt schnell in eine Falle die man gar nicht sieht! Ein Beispiel dazu:

Am Switch habe ich ein Trunk mit Lacp eingerichtet.
Das mag sein, nur in Wirklichkeit nennt HP ein LAG nicht Trunk sondern Port Aggregation denn ein Trunk kommt eigentlich von
Brocade und beschreibt dort ein LAG nur bei HP und auch anderen ist das ein LAG was VLANs transportiert!! Und bei MS Windows
nennt sich das dann Teaming!

Wer also einen MS Server hat und einen HP Switch sollte auf Seiten des Servers Teaming auswählen und dann auf Seiten des Switches
Port Aggregation, dann passt es. Es sei denn HP hat dort etwas dran geändert, das entzieht sich dann aber meiner Kenntnis denn wer
will denn schon HP Switche benutzen. face-wink

Seit 2008 heißt es auch eigentlich 802.ax und nicht mehr wie vorher 802.ad, kann sein dass man das so bei HP mittels Firmware
nicht umgesetzt hat, aber bei dem MS Server und den meist verwendeten Intel NICs bzw. deren Treibern sollte das schon zu erwarten
sein, also schau noch einmal genau hin, nicht das es dort Unterschiede gibt und Du deswegen Probleme hast.

Gruß
Dobby
Member: deredvtyp
deredvtyp Dec 22, 2016 at 12:52:56 (UTC)
Goto Top
Was meinst du mit diesem technischen Kauderwelsch ?? Bahnhof ? Ägypten ?
Klingt irgendwie nach Konfig Blödsinn face-sad

Damit meine ich das HP zwei Arten von Trunk bilden kann.
ein Trunk mit lacp (dynamisch) oder einen Trunk mit trunk (statisch)

hier eine Beispiel config für die Bildung eines Trunks:

(config) trunk ethernet 20-23 trk1 lacp
Mitglied: 108012
108012 Dec 22, 2016 updated at 13:15:17 (UTC)
Goto Top
Es kommt auch auf die Lastverteilungs-Algorithmen an die dazu eingesetzt werden, ob alle verfügbaren Kabel oder Leitungen
gleichzeitig benutzt werden oder eben nicht. Hie rmal ein Auszug aus Wikipedia dazu:

  • Roundrobin: Hier werden alle zur Verfügung stehenden Leitungen abwechselnd der Reihe nach benutzt.
  • DA-Trunking: Hier wird anhand des Modulo der Destination-MAC-Adresse die elementare Schnittstelle gewählt.
  • SA-Trunking: Hier wird anhand des Modulo der Source-MAC-Adresse die elementare Schnittstelle gewählt.
  • SA-DA-Trunking: Hier wird anhand des Modulo der Source-MAC-Adresse und der Destination-MAC-Adresse die
elementare Schnittstelle gewählt.
  • Adaptives Trunking: Hier wird erst bei 100 % Auslastung der ersten elementaren Schnittstelle eine weitere zugeschaltet.
  • Dynamisches Trunking: Mit Hilfe des proprietären PAgPs, oder des IEEE konformen LACP lassen sich dynamische Trunks definieren.

Auszug aus Wikipedia
Link Aggregation - Bündelungs-Verfahren



Daher auch meine Frage nach dem statischen LAG und dem Round Robin Verfahren wo alle Kabel bzw. Leitungen nach und
nach benutzt werden, also alle Leitungen gleichzeitig in Benutzung sind und bei einem Ausfall einfach nur der Durchsatz sinkt.

Hier noch einmal eine Anleitung von HP wo es auf einmal wieder LACP Port Trunk heißt, [ftp://ftp.hp.com/pub/networking/software/6400-5300-4200-3400-MgmtCfg-Oct2006-59906050-Chap13.pdf HP Networking] (PDF) Allerdings muss
auch bei einem statischen LAG das STP (RSTP) selber aktiviert werden.

Alle Ports müssen im full-duplex Modus sein um die volle aggregierte Bandbreite des LAGs nutzen zu können.


Gruß
Dobby
Member: aqui
aqui Dec 22, 2016 updated at 13:12:01 (UTC)
Goto Top
Ahhh, OK das war recht missverständlich.
Das hilft aber auch nicht, schlimmer noch ist kontraproduktiv wenns nur einseitig gemacht ist !
Denn wenn die NIC Seite LACP macht, dein Switch aber auf statisch steht, also kein LACP macht, kommt der Trunk / LAG nicht zustande.
Klar, denn die NIC Seite kann den Trunk per LACP nicht negotiaten wenn der Switch kein LACP spricht.
Sowas kann schlimmstenfalls in einem Loop enden. Vorsicht also...
Member: deredvtyp
deredvtyp Dec 22, 2016 at 13:18:33 (UTC)
Goto Top
Zitat von @aqui:

Ahhh, OK das war recht missverständlich.
Das hilft aber auch nicht, schlimmer noch ist kontraproduktiv wenns nur einseitig gemacht ist !
Denn wenn die NIC Seite LACP macht, dein Switch aber auf statisch steht, also kein LACP macht, kommt der Trunk / LAG nicht zustande.
Klar, denn die NIC Seite kann den Trunk per LACP nicht negotiaten wenn der Switch kein LACP spricht.
Sowas kann schlimmstenfalls in einem Loop enden. Vorsicht also...


Nein, auf beiden Seiten wurde jeweils Lacp dynamisch verwendet. Ich habe erwartet das der Datendurchsatz hier auf ca 200MB/s steigt.
(Leider bleibt er auf 100-119MB/s)

Daher auch meine Frage welche Einstellung notwendig ist, um 200MB (bei 2 Kableln) zu übertragen.
Member: deredvtyp
deredvtyp Dec 22, 2016 at 13:19:23 (UTC)
Goto Top

Alle Ports müssen im full-duplex Modus sein um die volle aggregierte Bandbreite des LAGs nutzen zu können.


ist ebenfalls manuell eingestellt worden.
Member: deredvtyp
deredvtyp Dec 22, 2016 at 15:03:23 (UTC)
Goto Top
leider bekomme ich "nur" Ausfallsicherheit, jedoch keine höhere Bandbreite hin.
Member: aqui
Solution aqui Dec 22, 2016 updated at 17:34:21 (UTC)
Goto Top
Ich habe erwartet das der Datendurchsatz hier auf ca 200MB/s steigt.
Nur nochmal nachgefragt: Du hast den obigen Thread zur Funktionsweise von 302.3ad LAGs gelesen ??
Ein fester Hash den dein Server vermutlich hat durch seine Mac oder IP bleibt immer fest auf einem der physischen Links von den dreien !!
Wenn du also von einem Client der ja immer dieselb Mac hat auf den Server was kopierst kommt logisch immer derselbe Hash raus der diesen Linkf fest auf einen der 3 Links nagelt.
Link Aggregation wirkt eher wenn du mehrere Macs im netz hast so das es zu einer besseren Verteilung der Endgeräte auf dem Trunk kommt.

Du machst vermutlich immer noch den fatalen Denkfehler das hier ein per Paket Balancing gemacht wird was bei 802.3ad Trunks nicht der Fall ist.
Dein Copy Pärchen bleibt auf einem Link. Ein anderes je nach Hash auf einem anderen ein anderes wiederum auf einem anderen wenn du Glück hast.
Durch das Hashing Verfahren (XOR der letzten 4 Bits der Adresse) gibt es aber KEIN homogenes Verteilen. Meist ist ein Link mit 60% einer mit 30% und einer mit 10% ausgelastet oder ähnliche nicht homogene Verteilungen.
In so fern ist der Durchsatz mit nur einer einzigen Station im Test zu erwarten.
Es kann doch niemals eine erhöhte Bandbreite geben !!! Wo soll die denn herkommen wenn ein Mac Adress Pärchen immer auf einem festen Link landet ?! Der hat ja nun mal nur 1G und die Physik kannst du ja wohl kaum austricksen !!
Bitte tu uns den Gefallen lies den zitierten Thread oben, dann verstehst du es (hoffentlich) auch !

Weitere Threads zu dem Thema sind hier:
Symantec Backup Exec 2010 R3 - Netzwerk-Teaming für größeren Durschsatz

Eine erhöhte Bandbreite würdest du nur mit modernen DCB Fabric Switches hinbekommen wie Cisco Nexus oder Brocade VDX. Die machen auf solchen LAGs ein Per Paket Balancing was dann zu einer Erhöhung führt.
Du hast dich ja aber bewusst für billigste Campus Switches unterster Kategorie entschieden und da muss man dann mit dem leben was die hergeben. You get what you pay for....
Member: chgorges
chgorges Dec 22, 2016 updated at 21:32:34 (UTC)
Goto Top
Hm, ich lese hier die ganze Zeit nur Netzwerk, aber nichts von den Endgeräten dahinter...

Wenn die zwei Computer z.B. nur normale, drehende, mechanische SATA-Platten haben, kannst du trunken, wie du willst, du wirst hier nicht mehr Schreibgeschwindigkeit, als insgesamt 100MB/s, bekommen.
Das limitierende Element in allen Bereichen (bis auf kleinste Ausnahmen) ist immer noch das Storage und nicht das Netzwerk.
Member: Anton28
Anton28 Dec 23, 2016 at 06:29:16 (UTC)
Goto Top
Guten Morgen,

egal wie viele Leitungen im LACP-Trunk (max. 8 aktive soweit ich weis) und selbst wenn es die Platten/SSDs, RAIDS hergeben würden, wird zwischen den beiden Servern nur max die Bandbreise eines NICs übertragen werden.

LACP bringt nur etwar, wenn viele viele Clients auf einen Server zugreifen.

Willst Du mehr Bandbreite zwischen den Server, dann musst Du auf 10Gbit/s, 40Gbit/s oder 100 Gbit/s Adapter und Switche umrüsten.

Gruß

Anton