2
Theorie - Netzwerk mit über 10.000 Servern - Load Balancing - Architektur ?
Hi!
Vorwort: Es geht mir in diesem Thread wirklich nur um die Theorie (es sei denn es gibt hier Leute die mit solchen Netzwerken schon zu tun hatten). Ich hoffe das ist okay wenn ich hier so einfache Frage veröffentliche.
Mir ist schon klar das man dafür schon ein "bissl"
mehr Manpower, Geld, Kühlung, Space, Verwendung, etc. benötigt. Aber wer ein bissl fachsimpeln möchte sei hier herzlich willkommen!
Gern auch Kommentare wenn ich etwas falsch verstanden + Verbesserungsvorschläge!
Ich suche wirklich gute Antworten, weil mich das ganze Thema wirklich interessiert! Vielleicht hat auch jemand einen guten Link, der ein ähnliches Netzwerk beschreibt! Ich weiß das ganze ist teilweise "schwammig" - mich interessiert einfach wie so etwas aussehen kann!
---
Mein Ausgangsposition bei diesem Gedankenspiel sei:
- Ich hab genug Space in einem Rechenzentrum
- Ich bin zwar kein Millardär habe aber schon genug Kapital
- Ich hab die besagten 10k und mehr Server (1 HE) in 42 HE Racks verfrachtet, also über 200 Racks. Jeder Server habe Gigabit Ethernet
- Standpunkt sei mal Deutschland, registiert bei RIPE, AS-Nummer sei vorhanden, IP Bereich erhalten
- AMSIX und DECIX (z.B.) haben jeweils einen Fibre-Port gepatched.
- Es gibt genug Anfragen um die 10k Server zu beschäftigen, aber lange nicht auszulasten. Die Anfragen sollen auf diese Server aufgeteilt werden
---
Meine (haufen) Fragen zielen nun auf die Netzwerkarchitektur / verwendete Hardware :
- Würdet ihr 10k und mehr Server switchen? Ist das überhaupt möglich? Oder muss/sollte man intern routen?
- 48 Port Rack Switches ? Diese dann über Glasfaser anbinden an weitere Switches? Force10? SAT mit 32k stellt kein Problem da?
- Was für einen Uplink brauch ich bei den Rack Switches? 48 x 1 Gbit x 2 (Full Duplex) = 96 Gbit? Wieviel bei den 'Root' Switches?
- Load Balancing? Mehrstufig ? Auch über einen (mehrere?) Force10 ?
- Welche Ip-Adressen würdet ihr nehmen? (10.0.0.0?), würdet ihr Subnetze bilden? Welche Größe?
- Erst Firewall, dann Load Balancing oder anders herum? Den ganzen Traffic über eine Firewall?
- DHCP möglich/sinnvoll bei der Netzwerkgröße?
- Eigener BIND? Performance?
- NTP von Pool holen? Ist das sicher? Gibt es andere Methoden zum Zeitsync?
Viele Grüße,
Julian
Vorwort: Es geht mir in diesem Thread wirklich nur um die Theorie (es sei denn es gibt hier Leute die mit solchen Netzwerken schon zu tun hatten). Ich hoffe das ist okay wenn ich hier so einfache Frage veröffentliche.
Mir ist schon klar das man dafür schon ein "bissl"
mehr Manpower, Geld, Kühlung, Space, Verwendung, etc. benötigt. Aber wer ein bissl fachsimpeln möchte sei hier herzlich willkommen!Gern auch Kommentare wenn ich etwas falsch verstanden + Verbesserungsvorschläge!
Ich suche wirklich gute Antworten, weil mich das ganze Thema wirklich interessiert! Vielleicht hat auch jemand einen guten Link, der ein ähnliches Netzwerk beschreibt! Ich weiß das ganze ist teilweise "schwammig" - mich interessiert einfach wie so etwas aussehen kann!
---
Mein Ausgangsposition bei diesem Gedankenspiel sei:
- Ich hab genug Space in einem Rechenzentrum
- Ich bin zwar kein Millardär habe aber schon genug Kapital
- Ich hab die besagten 10k und mehr Server (1 HE) in 42 HE Racks verfrachtet, also über 200 Racks. Jeder Server habe Gigabit Ethernet
- Standpunkt sei mal Deutschland, registiert bei RIPE, AS-Nummer sei vorhanden, IP Bereich erhalten
- AMSIX und DECIX (z.B.) haben jeweils einen Fibre-Port gepatched.
- Es gibt genug Anfragen um die 10k Server zu beschäftigen, aber lange nicht auszulasten. Die Anfragen sollen auf diese Server aufgeteilt werden
---
Meine (haufen) Fragen zielen nun auf die Netzwerkarchitektur / verwendete Hardware :
- Würdet ihr 10k und mehr Server switchen? Ist das überhaupt möglich? Oder muss/sollte man intern routen?
- 48 Port Rack Switches ? Diese dann über Glasfaser anbinden an weitere Switches? Force10? SAT mit 32k stellt kein Problem da?
- Was für einen Uplink brauch ich bei den Rack Switches? 48 x 1 Gbit x 2 (Full Duplex) = 96 Gbit? Wieviel bei den 'Root' Switches?
- Load Balancing? Mehrstufig ? Auch über einen (mehrere?) Force10 ?
- Welche Ip-Adressen würdet ihr nehmen? (10.0.0.0?), würdet ihr Subnetze bilden? Welche Größe?
- Erst Firewall, dann Load Balancing oder anders herum? Den ganzen Traffic über eine Firewall?
- DHCP möglich/sinnvoll bei der Netzwerkgröße?
- Eigener BIND? Performance?
- NTP von Pool holen? Ist das sicher? Gibt es andere Methoden zum Zeitsync?
Viele Grüße,
Julian
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 196908
Url: https://administrator.de/contentid/196908
Printed on: April 25, 2024 at 06:04 o'clock
2 Comments
Latest comment
- Würdet ihr 10k und mehr Server switchen? Ist das überhaupt möglich? Oder muss/sollte man intern routen?
Switchen ist bei der Anzahl praktisch unmöglich.
Viele Switche haben nur eine 8k MAC-Tabelle, die würden in den Hub-Modus umschalten und das Netzwerk überfluten.
Dazu wird die initiale Pfadfindung für jede MAC allein schon eine enorme Belastung für das Netz darstellen.
Weiter geht es mit der Ausfallsicherheit: Jeder Switch muss redundant angebunden werden, da bleibt aber auf L2 nur eine STP-Variante, die mit sowas völlig überfordert ist.
- 48 Port Rack Switches ? Diese dann über Glasfaser anbinden an weitere Switches?
Ja und zwar 2 pro Rack.
Der Uplink geht wiederum auf 2 verschiedene Switche per 10GbE.
- Load Balancing? Mehrstufig ? Auch über einen (mehrere?) Force10 ?
- Welche Ip-Adressen würdet ihr nehmen? (10.0.0.0?), würdet ihr Subnetze bilden? Welche Größe?
- Welche Ip-Adressen würdet ihr nehmen? (10.0.0.0?), würdet ihr Subnetze bilden? Welche Größe?
Das hängt doch von der Anwendung ab.
Wenn du nur 10k Root-Server vermietest bekommt jeder eine öffentliche IP. Wenn es ein LB-Cluster ist kann man auch 10.x benutzen.
Prinzipiell würde ich nie mehr als 254 Hosts in ein Subnetz stecken, bei vollen Racks mit Switch pro Rack bietet sich auch eher an ein Subnetz pro Rack zu bilden.
Force10 ?
Man muss ja nicht gleich das größte Nudelholz auspacken.
Vielen RZs mit Außenanbindung reicht auch sowas wie Cisco, Juniper, Extreme, Brocade...
- DHCP möglich/sinnvoll bei der Netzwerkgröße?
Ja, sogar erforderlich.
Wenn du so viele Server verwaltest gehst du nicht zu jedem hin und installierst einzeln ein OS.
Wenn der Server ankommt wird der Barcode von der MAC-ID abgescannt (auf dem Paket oder oben auf dem Server), im DHCP die IP und Verwendung konfiguriert, der Server kommt ins Rack, startet per PXE und das OS wird automatisiert installiert.
- Eigener BIND? Performance?
Macht Sinn.
- NTP von Pool holen? Ist das sicher? Gibt es andere Methoden zum Zeitsync?
In der Regel ist nicht so wichtig was für eine Zeit die Server haben, sondern vielmehr dass sie alle die selbe Zeit haben.
(S)NTP hat in der Regel einen Versatz von < 1s ist also ausreichend.
Wenn du nicht einen Pool benutzen willst kannst du entweder direkt die NTP-Server der PTB benutzen oder du nimmst einen Hardware-DCF77-Empfänger.
...abgesehen davon ist Force10 nun auch Dell und ob die was von Netzwerken verstehen...?? Besser nicht...
Gibt es andere Methoden zum Zeitsync?
2 Server mit DCF 77 oder GPS Anbindung (Atom Normalzeit)
Ich hab genug Space in einem Rechenzentrum
Schlecht...besser 2 RZ für die Disaster Recovery
Was für einen Uplink brauch ich bei den Rack Switches?
10 Gig ist heute Standard, kummuliert 40Gig oder 100 Gig ansonsten ohne sinnvolle Segmentierung gehts nicht. Kollege dog hat oben dazu schon alles Wichtige gesagt !
Load Balancing? Mehrstufig ?
Bei HA Webservern unbedingt in Hardware. F5 und Brocade haben die Boxen dafür
Welche Ip-Adressen würdet ihr nehmen?
Ohne IPv6 Support ist das Kinderkram, also v6 muss schon sein. RFC 1918 oder nicht hängt davon ab ob du überhaupt noch freie Kontingente bekommst. 1918 bedeutet ein performantes NAT und andere Probleme ! Am besten der goldene Mittelweg und von jedem etwas je nach Anwendung.
DHCP möglich/sinnvoll bei der Netzwerkgröße?
hat dog schon alles zu gesagt...
Gibt es andere Methoden zum Zeitsync?
2 Server mit DCF 77 oder GPS Anbindung (Atom Normalzeit)
Ich hab genug Space in einem Rechenzentrum
Schlecht...besser 2 RZ für die Disaster Recovery
Was für einen Uplink brauch ich bei den Rack Switches?
10 Gig ist heute Standard, kummuliert 40Gig oder 100 Gig ansonsten ohne sinnvolle Segmentierung gehts nicht. Kollege dog hat oben dazu schon alles Wichtige gesagt !
Load Balancing? Mehrstufig ?
Bei HA Webservern unbedingt in Hardware. F5 und Brocade haben die Boxen dafür
Welche Ip-Adressen würdet ihr nehmen?
Ohne IPv6 Support ist das Kinderkram, also v6 muss schon sein. RFC 1918 oder nicht hängt davon ab ob du überhaupt noch freie Kontingente bekommst. 1918 bedeutet ein performantes NAT und andere Probleme ! Am besten der goldene Mittelweg und von jedem etwas je nach Anwendung.
DHCP möglich/sinnvoll bei der Netzwerkgröße?
hat dog schon alles zu gesagt...
