Top-Themen

AppleEntwicklungHardwareInternetLinuxMicrosoftMultimediaNetzwerkeOff TopicSicherheitSonstige SystemeVirtualisierungWeiterbildungZusammenarbeit

Aktuelle Themen

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

Theorie - Netzwerk mit über 10.000 Servern - Load Balancing - Architektur ?

Frage Netzwerke LAN, WAN, Wireless

Mitglied: trudy1

trudy1 (Level 1) - Jetzt verbinden

13.01.2013, aktualisiert 21:31 Uhr, 1944 Aufrufe, 2 Kommentare

Hi!

Vorwort: Es geht mir in diesem Thread wirklich nur um die Theorie (es sei denn es gibt hier Leute die mit solchen Netzwerken schon zu tun hatten). Ich hoffe das ist okay wenn ich hier so einfache Frage veröffentliche.

Mir ist schon klar das man dafür schon ein "bissl" mehr Manpower, Geld, Kühlung, Space, Verwendung, etc. benötigt. Aber wer ein bissl fachsimpeln möchte sei hier herzlich willkommen!

Gern auch Kommentare wenn ich etwas falsch verstanden + Verbesserungsvorschläge!

Ich suche wirklich gute Antworten, weil mich das ganze Thema wirklich interessiert! Vielleicht hat auch jemand einen guten Link, der ein ähnliches Netzwerk beschreibt! Ich weiß das ganze ist teilweise "schwammig" - mich interessiert einfach wie so etwas aussehen kann!

---
Mein Ausgangsposition bei diesem Gedankenspiel sei:

- Ich hab genug Space in einem Rechenzentrum
- Ich bin zwar kein Millardär habe aber schon genug Kapital
- Ich hab die besagten 10k und mehr Server (1 HE) in 42 HE Racks verfrachtet, also über 200 Racks. Jeder Server habe Gigabit Ethernet
- Standpunkt sei mal Deutschland, registiert bei RIPE, AS-Nummer sei vorhanden, IP Bereich erhalten
- AMSIX und DECIX (z.B.) haben jeweils einen Fibre-Port gepatched.
- Es gibt genug Anfragen um die 10k Server zu beschäftigen, aber lange nicht auszulasten. Die Anfragen sollen auf diese Server aufgeteilt werden
---

Meine (haufen) Fragen zielen nun auf die Netzwerkarchitektur / verwendete Hardware :

- Würdet ihr 10k und mehr Server switchen? Ist das überhaupt möglich? Oder muss/sollte man intern routen?
- 48 Port Rack Switches ? Diese dann über Glasfaser anbinden an weitere Switches? Force10? SAT mit 32k stellt kein Problem da?
- Was für einen Uplink brauch ich bei den Rack Switches? 48 x 1 Gbit x 2 (Full Duplex) = 96 Gbit? Wieviel bei den 'Root' Switches?
- Load Balancing? Mehrstufig ? Auch über einen (mehrere?) Force10 ?
- Welche Ip-Adressen würdet ihr nehmen? (10.0.0.0?), würdet ihr Subnetze bilden? Welche Größe?
- Erst Firewall, dann Load Balancing oder anders herum? Den ganzen Traffic über eine Firewall?

- DHCP möglich/sinnvoll bei der Netzwerkgröße?
- Eigener BIND? Performance?
- NTP von Pool holen? Ist das sicher? Gibt es andere Methoden zum Zeitsync?

Viele Grüße,

Julian
Mitglied: dog
13.01.2013, aktualisiert um 23:42 Uhr
- Würdet ihr 10k und mehr Server switchen? Ist das überhaupt möglich? Oder muss/sollte man intern routen?

Switchen ist bei der Anzahl praktisch unmöglich.
Viele Switche haben nur eine 8k MAC-Tabelle, die würden in den Hub-Modus umschalten und das Netzwerk überfluten.
Dazu wird die initiale Pfadfindung für jede MAC allein schon eine enorme Belastung für das Netz darstellen.
Weiter geht es mit der Ausfallsicherheit: Jeder Switch muss redundant angebunden werden, da bleibt aber auf L2 nur eine STP-Variante, die mit sowas völlig überfordert ist.

- 48 Port Rack Switches ? Diese dann über Glasfaser anbinden an weitere Switches?

Ja und zwar 2 pro Rack.
Der Uplink geht wiederum auf 2 verschiedene Switche per 10GbE.

- Load Balancing? Mehrstufig ? Auch über einen (mehrere?) Force10 ?
- Welche Ip-Adressen würdet ihr nehmen? (10.0.0.0?), würdet ihr Subnetze bilden? Welche Größe?

Das hängt doch von der Anwendung ab.
Wenn du nur 10k Root-Server vermietest bekommt jeder eine öffentliche IP. Wenn es ein LB-Cluster ist kann man auch 10.x benutzen.
Prinzipiell würde ich nie mehr als 254 Hosts in ein Subnetz stecken, bei vollen Racks mit Switch pro Rack bietet sich auch eher an ein Subnetz pro Rack zu bilden.

Force10 ?

Man muss ja nicht gleich das größte Nudelholz auspacken.
Vielen RZs mit Außenanbindung reicht auch sowas wie Cisco, Juniper, Extreme, Brocade...

- DHCP möglich/sinnvoll bei der Netzwerkgröße?

Ja, sogar erforderlich.
Wenn du so viele Server verwaltest gehst du nicht zu jedem hin und installierst einzeln ein OS.
Wenn der Server ankommt wird der Barcode von der MAC-ID abgescannt (auf dem Paket oder oben auf dem Server), im DHCP die IP und Verwendung konfiguriert, der Server kommt ins Rack, startet per PXE und das OS wird automatisiert installiert.

- Eigener BIND? Performance?

Macht Sinn.

- NTP von Pool holen? Ist das sicher? Gibt es andere Methoden zum Zeitsync?

In der Regel ist nicht so wichtig was für eine Zeit die Server haben, sondern vielmehr dass sie alle die selbe Zeit haben.
(S)NTP hat in der Regel einen Versatz von < 1s ist also ausreichend.
Wenn du nicht einen Pool benutzen willst kannst du entweder direkt die NTP-Server der PTB benutzen oder du nimmst einen Hardware-DCF77-Empfänger.
Bitte warten ..
Mitglied: aqui
14.01.2013 um 18:35 Uhr
...abgesehen davon ist Force10 nun auch Dell und ob die was von Netzwerken verstehen...?? Besser nicht...
Gibt es andere Methoden zum Zeitsync?
2 Server mit DCF 77 oder GPS Anbindung (Atom Normalzeit)
Ich hab genug Space in einem Rechenzentrum
Schlecht...besser 2 RZ für die Disaster Recovery
Was für einen Uplink brauch ich bei den Rack Switches?
10 Gig ist heute Standard, kummuliert 40Gig oder 100 Gig ansonsten ohne sinnvolle Segmentierung gehts nicht. Kollege dog hat oben dazu schon alles Wichtige gesagt !
Load Balancing? Mehrstufig ?
Bei HA Webservern unbedingt in Hardware. F5 und Brocade haben die Boxen dafür
Welche Ip-Adressen würdet ihr nehmen?
Ohne IPv6 Support ist das Kinderkram, also v6 muss schon sein. RFC 1918 oder nicht hängt davon ab ob du überhaupt noch freie Kontingente bekommst. 1918 bedeutet ein performantes NAT und andere Probleme ! Am besten der goldene Mittelweg und von jedem etwas je nach Anwendung.
DHCP möglich/sinnvoll bei der Netzwerkgröße?
hat dog schon alles zu gesagt...
Bitte warten ..
Neuester Wissensbeitrag
Windows 10

Powershell 5 BSOD

(8)

Tipp von agowa338 zum Thema Windows 10 ...

Ähnliche Inhalte
LAN, WAN, Wireless
gelöst Cisco IOS Load Balancing (2)

Frage von PharIT zum Thema LAN, WAN, Wireless ...

Internet Domänen
gelöst Load-Balancing über eine Domain, ist das möglich? (6)

Frage von D1Ck3n zum Thema Internet Domänen ...

Sonstige Systeme
Internet Archive: 10.000 Amiga-Titel für den Browser aufbereitet

Link von Frank zum Thema Sonstige Systeme ...

Windows Update
Microsoft zahlt 10.000 US-Dollar für "Zwangsupdate" auf Windows 10

Link von magicteddy zum Thema Windows Update ...

Heiß diskutierte Inhalte
Microsoft
Ordner mit LW-Buchstaben versehen und benennen (21)

Frage von Xaero1982 zum Thema Microsoft ...

Windows Update
Treiberinstallation durch Windows Update läßt sich nicht verhindern (17)

Frage von liquidbase zum Thema Windows Update ...

Windows Tools
gelöst Aussendienst Datensynchronisierung (12)

Frage von lighningcrow zum Thema Windows Tools ...

Windows Server
Suche passender Treiber (12)

Frage von stolli zum Thema Windows Server ...