Top-Themen

Aktuelle Themen (A bis Z)

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

Theorie - Netzwerk mit über 10.000 Servern - Load Balancing - Architektur ?

Mitglied: trudy1

trudy1 (Level 1) - Jetzt verbinden

13.01.2013, aktualisiert 21:31 Uhr, 2001 Aufrufe, 2 Kommentare

Hi!

Vorwort: Es geht mir in diesem Thread wirklich nur um die Theorie (es sei denn es gibt hier Leute die mit solchen Netzwerken schon zu tun hatten). Ich hoffe das ist okay wenn ich hier so einfache Frage veröffentliche.

Mir ist schon klar das man dafür schon ein "bissl" mehr Manpower, Geld, Kühlung, Space, Verwendung, etc. benötigt. Aber wer ein bissl fachsimpeln möchte sei hier herzlich willkommen!

Gern auch Kommentare wenn ich etwas falsch verstanden + Verbesserungsvorschläge!

Ich suche wirklich gute Antworten, weil mich das ganze Thema wirklich interessiert! Vielleicht hat auch jemand einen guten Link, der ein ähnliches Netzwerk beschreibt! Ich weiß das ganze ist teilweise "schwammig" - mich interessiert einfach wie so etwas aussehen kann!

---
Mein Ausgangsposition bei diesem Gedankenspiel sei:

- Ich hab genug Space in einem Rechenzentrum
- Ich bin zwar kein Millardär habe aber schon genug Kapital
- Ich hab die besagten 10k und mehr Server (1 HE) in 42 HE Racks verfrachtet, also über 200 Racks. Jeder Server habe Gigabit Ethernet
- Standpunkt sei mal Deutschland, registiert bei RIPE, AS-Nummer sei vorhanden, IP Bereich erhalten
- AMSIX und DECIX (z.B.) haben jeweils einen Fibre-Port gepatched.
- Es gibt genug Anfragen um die 10k Server zu beschäftigen, aber lange nicht auszulasten. Die Anfragen sollen auf diese Server aufgeteilt werden
---

Meine (haufen) Fragen zielen nun auf die Netzwerkarchitektur / verwendete Hardware :

- Würdet ihr 10k und mehr Server switchen? Ist das überhaupt möglich? Oder muss/sollte man intern routen?
- 48 Port Rack Switches ? Diese dann über Glasfaser anbinden an weitere Switches? Force10? SAT mit 32k stellt kein Problem da?
- Was für einen Uplink brauch ich bei den Rack Switches? 48 x 1 Gbit x 2 (Full Duplex) = 96 Gbit? Wieviel bei den 'Root' Switches?
- Load Balancing? Mehrstufig ? Auch über einen (mehrere?) Force10 ?
- Welche Ip-Adressen würdet ihr nehmen? (10.0.0.0?), würdet ihr Subnetze bilden? Welche Größe?
- Erst Firewall, dann Load Balancing oder anders herum? Den ganzen Traffic über eine Firewall?

- DHCP möglich/sinnvoll bei der Netzwerkgröße?
- Eigener BIND? Performance?
- NTP von Pool holen? Ist das sicher? Gibt es andere Methoden zum Zeitsync?

Viele Grüße,

Julian
Mitglied: dog
13.01.2013, aktualisiert um 23:42 Uhr
- Würdet ihr 10k und mehr Server switchen? Ist das überhaupt möglich? Oder muss/sollte man intern routen?

Switchen ist bei der Anzahl praktisch unmöglich.
Viele Switche haben nur eine 8k MAC-Tabelle, die würden in den Hub-Modus umschalten und das Netzwerk überfluten.
Dazu wird die initiale Pfadfindung für jede MAC allein schon eine enorme Belastung für das Netz darstellen.
Weiter geht es mit der Ausfallsicherheit: Jeder Switch muss redundant angebunden werden, da bleibt aber auf L2 nur eine STP-Variante, die mit sowas völlig überfordert ist.

- 48 Port Rack Switches ? Diese dann über Glasfaser anbinden an weitere Switches?

Ja und zwar 2 pro Rack.
Der Uplink geht wiederum auf 2 verschiedene Switche per 10GbE.

- Load Balancing? Mehrstufig ? Auch über einen (mehrere?) Force10 ?
- Welche Ip-Adressen würdet ihr nehmen? (10.0.0.0?), würdet ihr Subnetze bilden? Welche Größe?

Das hängt doch von der Anwendung ab.
Wenn du nur 10k Root-Server vermietest bekommt jeder eine öffentliche IP. Wenn es ein LB-Cluster ist kann man auch 10.x benutzen.
Prinzipiell würde ich nie mehr als 254 Hosts in ein Subnetz stecken, bei vollen Racks mit Switch pro Rack bietet sich auch eher an ein Subnetz pro Rack zu bilden.

Force10 ?

Man muss ja nicht gleich das größte Nudelholz auspacken.
Vielen RZs mit Außenanbindung reicht auch sowas wie Cisco, Juniper, Extreme, Brocade...

- DHCP möglich/sinnvoll bei der Netzwerkgröße?

Ja, sogar erforderlich.
Wenn du so viele Server verwaltest gehst du nicht zu jedem hin und installierst einzeln ein OS.
Wenn der Server ankommt wird der Barcode von der MAC-ID abgescannt (auf dem Paket oder oben auf dem Server), im DHCP die IP und Verwendung konfiguriert, der Server kommt ins Rack, startet per PXE und das OS wird automatisiert installiert.

- Eigener BIND? Performance?

Macht Sinn.

- NTP von Pool holen? Ist das sicher? Gibt es andere Methoden zum Zeitsync?

In der Regel ist nicht so wichtig was für eine Zeit die Server haben, sondern vielmehr dass sie alle die selbe Zeit haben.
(S)NTP hat in der Regel einen Versatz von < 1s ist also ausreichend.
Wenn du nicht einen Pool benutzen willst kannst du entweder direkt die NTP-Server der PTB benutzen oder du nimmst einen Hardware-DCF77-Empfänger.
Bitte warten ..
Mitglied: aqui
14.01.2013 um 18:35 Uhr
...abgesehen davon ist Force10 nun auch Dell und ob die was von Netzwerken verstehen...?? Besser nicht...
Gibt es andere Methoden zum Zeitsync?
2 Server mit DCF 77 oder GPS Anbindung (Atom Normalzeit)
Ich hab genug Space in einem Rechenzentrum
Schlecht...besser 2 RZ für die Disaster Recovery
Was für einen Uplink brauch ich bei den Rack Switches?
10 Gig ist heute Standard, kummuliert 40Gig oder 100 Gig ansonsten ohne sinnvolle Segmentierung gehts nicht. Kollege dog hat oben dazu schon alles Wichtige gesagt !
Load Balancing? Mehrstufig ?
Bei HA Webservern unbedingt in Hardware. F5 und Brocade haben die Boxen dafür
Welche Ip-Adressen würdet ihr nehmen?
Ohne IPv6 Support ist das Kinderkram, also v6 muss schon sein. RFC 1918 oder nicht hängt davon ab ob du überhaupt noch freie Kontingente bekommst. 1918 bedeutet ein performantes NAT und andere Probleme ! Am besten der goldene Mittelweg und von jedem etwas je nach Anwendung.
DHCP möglich/sinnvoll bei der Netzwerkgröße?
hat dog schon alles zu gesagt...
Bitte warten ..
Ähnliche Inhalte
DNS
Load Balancing - Webservice Server
gelöst Frage von eyetSolutionsDNS1 Kommentar

Hallo, ich habe 2 Webservice Server in einem Rechenzentrum: Server 1 - NAT Adresse = 1.1.1.1 Server 2 - ...

LAN, WAN, Wireless
Cisco IOS Load Balancing
gelöst Frage von PharITLAN, WAN, Wireless2 Kommentare

Hallo allerseits, bevor ich mir einen zweiten Internetanschluss anschaffe, wollte ich mal folgendes fragen: Mein Cisco 891er hat nur ...

Windows Netzwerk
Round Robin und Load Balancing
gelöst Frage von tukawi06Windows Netzwerk9 Kommentare

Nabend zusammen, ich experimentiere wieder etwas rum und habe mir mal 6 virtuelle Maschinen aufgesetzt. DC01 DC02 Terminal Server01 ...

Flatrates
Load Balancing mit Ip Anschlüssen
Frage von GTRDRIVERFlatrates12 Kommentare

Hallo zusammen wir haben hier folgende Ausgangssituation: -VDSL50 Anschluss der Telekom - Router Fritzbox (lokales Netz (192.168.0.x) - Die ...

Neue Wissensbeiträge
Humor (lol)

WhatsApp-Nachrichten endlich auch per Bluetooth versendbar

Information von BassFishFox vor 20 MinutenHumor (lol)

Genau darauf habe ich gewartet! ;-) Der beliebte Messaging-Dienst WhatsApp erhält eine praktische neue Funktion: Ab dem nächsten Update ...

Google Android

Googles "Android Enterprise Recommended" für Unternehmen

Information von kgborn vor 12 StundenGoogle Android3 Kommentare

Hier eine Information, die für Administratoren und Verantwortliche in Unternehmen, die für die Beschaffung und das Rollout von Android-Geräten ...

Sicherheit

Intel gibt neue Spectre V2-Microcode-Updates frei (20.02.2018)

Information von kgborn vor 13 StundenSicherheit

Intel hat zum 20. Februar 2018 weitere Microcode-Updates für OEMs freigegeben, um Systeme mit neueren Prozessoren gegen die Spectre ...

Microsoft
ARD-Doku - Das Microsoft Dilemma
Tipp von Knorkator vor 16 StundenMicrosoft3 Kommentare

Hallo zusammen, vor einigen Tagen lief in der ARD u.a. Reportage. Das Youtube Video dazu dürfte länger verfügbar sein. ...

Heiß diskutierte Inhalte
Windows Server
AD DS findet Domäne nicht, behebbar?
Frage von schapitzWindows Server40 Kommentare

Guten Tag, ich habe bei einem Kunden ein Problem mit den AD DS. Umgebung ist folgende: Windows Server 2016 ...

Router & Routing
LANCOM VPN CLIENT einrichten
Frage von Finchen961988Router & Routing27 Kommentare

Hallo, ich habe ein Problem und hoffe ihr könnt mir helfen, wir haben einen Kunden der hat einen Speedport ...

Router & Routing
ISC DHCP 2 Subnetze
gelöst Frage von janosch12Router & Routing19 Kommentare

Hallo, ich betreibe bei mir im Netzwerk einen ISC DHCP Server auf Debian, der DHCP verwaltet aktuell ein /24 ...

Switche und Hubs
Cisco SG350X-48 AdminIP in anderes VLAN
Frage von lcer00Switche und Hubs14 Kommentare

Hallo zusammen, ich habe ein Problem mir einem Cisco SG350X-48 bei der Erstinstallation wurde eine IP 192.168.0.254 (Default VLAN ...