finchen961988
Goto Top

Koperien im Netzwerk lahm

Ich beschreibe erst mal die Harware und die Konfiguration

Server:
1 x 6C Xeon E5-2420v2 (2,2GHz/15MB)
96GB RAM (6x16 GB DDR3 1600 R ECC)
6 x HD SAS 12G 1.2TB 10K 2.5" (max 8)->RAID 5
RAID Ctrl SAS 6G 5/6 1GB inkl. FBU
Eth Ctrl 4x1Gbit Cu Intel I350-T4
VMware vSphere Embed. UFM 8 GB
2 x Stromversorgungsmodul 450W platin

VM -HDDS auf thin!

Backup-NAS
RS816 mit 4*4TB Seagate IRONWOLF
mit 2 Netzwerkkabel im Bound angebunden

Archiv-NAS
DS218 mit 2 * 4TB

SWITCH:
DGS-1210-48 Hardwarerevision: H1

Der Serve wurde im Dezember aufgebaut und läuft als ESXI-Host, das IMAGE (ist das Fujitsu-VMvisor-Installer-6.5-5146846-v401-1 (Fujitsu)), ich habe 5 Netzwerkkarten 1Gbit auf einen virtuellen Switch zusammengefasst, es laufen dort 5 virtuelle Maschinen auf Windows Basis(vcenterServer und ESET zählen nu mal nicht), alle mit VMNETX3, ich zähle mal auf:
DC:
CPU: 2 Kerne pro Socket 1 SOCKETS 2
RAM: 8GB
SCSI:LSI LOGIC SAS
HDD: 40GB

MAIL(Funktion Exchange/Estos Procal)
Win 2016 Standart
CPU: 2 Kerne pro Socket 2 SOCKETS 1
RAM: 16GB
SCSI:LSI LOGIC SAS Mode: Dependet
HDD1: 350 GB
SCSI: LSI Logic SAS MOde: Dependet
HDD2: 500GB

FileServer(ein Paar Programme laufen hier/Mailstore)
Win 2016 Standart
CPU KERNE 2
Sockets 1
Kern pro Socket 2
Ram 16GB
1XLSI LOGIC SAS
1*80GB HDD
1*500GB HDD

FileServer 2(BANKTOOL(SQL) und spezifische Software(SQL))
Win 2016 Standart
CPU KERNE 2
Socket 1
Kern pro Socket 2
RAM: 24GB
1 X SCSI CONTROLLER
300Gb und 400GB

Service-PC(Service und VEEAM)
Windows 10

CLIENT PC alle angebunden mit 1Gbit/s
3 * i7 -7700 mit 8 GB und SSD
3* i5 -5er Serie!

Jetzt kommt mein Problem und ich weiß nicht wo ich noch suchen soll!

Wenn man von einem x-beliebigen Client Daten vom virtuelleServer (FileServer1,FileServer2 und MAIL) kopiert kommen Datenraten von ca. 100Mbit/s dabei rum, getestet mit 3GB-, 10Gb-, 30GB- und kleinen kb Dateien!
Erst mal ja nicht schlecht, könnte schneller aber erst mal ein Problem abarbeiten!
Nehme ich diese Dateien, kopiere die auf Archiv-NAS(Auslagerungsort für alte Projekte) kommen Kopierraten bei den großen Dateien von 113MB - 130MB raus im Hochladen und Runterladen.
Gucke ich mir das VEEAM BACKUP an kommen dort raten von 250 - 310 MB auf die Backup NAS dabei rum!
Erst mal ja okay?
Kopiere ich aber eine Datei von einem x-beliebigen Client vorwiegend natürlich auf Fileserver1 oder auf den Fileserver 2 habe ich Kopierraten von 3MB/s bis 0 runter.
Ganz schlimm ist es, auf den FileServer2 ist ein ein Programm welches jeden Tag genutzt wird, vom Hersteller vorgeschrieben, dass Programmteile auf einen anderen Server sollen, also FileServer 1!
Wenn in dem Programm ein Projekt angelegt wird, werden die Zusatztools vom FileServer1 aufgerufen und Daten abgelegt, dann dauert der Aufruf ca. 5min und von den Berechnungen muss ich nicht reden!
Kopieren kleiner Archiv-Dateien auf die Archiv-NAS auch sehr langsam im kb Bereich.

Ich habe schon Firewall aus, das ESET aus, Einstellungen im HOST geprüft auf den Server JUMBO FRAMES angepasst und Netzwerk diverse Einstellungen wie Overload und ähnliches angepasst.

Ping zeiten zu jedem CLIENT und zu jedem Server kleiner 1ms
NSLOOKUP sieht auch gut aus.

Ich weiß nicht wie ich fragen soll, ohne dass dumme Sprüche kommen, wie bist du überfordert oder ähnliches, aber kann mir einer Tipp geben wo der vllt. noch zu suchen ist?

Content-Key: 368778

Url: https://administrator.de/contentid/368778

Printed on: May 24, 2024 at 09:05 o'clock

Member: falscher-sperrstatus
falscher-sperrstatus Mar 21, 2018 at 11:00:52 (UTC)
Goto Top
Hallo Finchen,

ich habe immer mehr das Gefühl, dass du den 2nd Level an das Forum hier outsourcest. Vielleicht wäre eine Ausbildung mal angebracht. Abgesehen davon: Du schreibst der Server wurde im Dezember aufgebaut, hat aber eine v2 Xeon CPU drin?! Ich verbaute um diesselbe Zeit bereits Intel Silver und Gold, was de facto >V4 darstellt.
Member: chgorges
chgorges Mar 21, 2018 at 11:06:01 (UTC)
Goto Top
Also lese ich raus, dass Lesezugriffe von deinen virtuellen Servern performant, aber die von Schreibzugriffe auf deine virtuellen Server langsam sind?

Setz mal im RAID-Controller an und schau auf die Cache Modi https://sp.ts.fujitsu.com/dmsp/Publications/public/wp-raid-controller-pe ... Seite 11

Gerade der Disk Cache Mode kann einen Unterschied zwischen Tag bewirken. Wichtig dabei ist aber a) Vorhandensein einer FBU/BBU und b) einer USV inkl. Shutdown-Management.
Member: Finchen961988
Finchen961988 Mar 21, 2018 at 11:43:01 (UTC)
Goto Top
Ja ich denke es liegt irgendwie am Raid Controller D3116C, ich bin mir zwar sicher den richtig eingestellt zu haben, aber wer weiß?

Ja mit dem v2 CPU ist hier ein ausgemachtest Problem unser Geschäftsführer ist der Meinung die kann man noch verkaufen, obwohl wir Techniker in mehreren Fällen schon bewiesen haben, dass das keine gute IDEE ist!

Darf mal eine Frage zu Erfahrungen ESXI mit RAID 5 fragen?
Member: SlainteMhath
SlainteMhath Mar 21, 2018 at 12:04:07 (UTC)
Goto Top
Moin,

ich vermute hier das Raid als Flaschenhals... schnell lesen, langsam schreiben ist typisch RAID 5 face-smile

Und dann ist das Array wohl auch gut beschäftigt. Exchange, Fileserver x2, Mailarchiv und dann noch 2 (oder mehr) SQL obendrauf UND DANN NOCH alles auf thin? auf einem RAID 5 mit 6 Spindeln?!.. hmmm... wie ist denn IO(PS) Auslastung bzw. die Schreib/Lese Latenzen von dem Datastore?

Und was genau hast du mit Jumob Frames gemacht?! Wenn das nicht komplett durchgängig und korrekt konfiguriert ist, kann das auch kontraproduktiv sein...

Den Rest sehe ich genau so wie @certifiedit.net
Member: StefanKittel
StefanKittel Mar 21, 2018 at 12:08:58 (UTC)
Goto Top
Hallo,

1. Pflicht: Problem eingrenzen.
Mit netio kannst Du die Geschwindigkeit vom Client zum Server mit verschiedengroßen Datenpaketen testen.
Dann am Server eines der vielen HDD-Benchmark-Tools verwenden um zu schauen was direkt ohne Netzwerk möglich ist.
Dann schauen wir weiter.

Stefan
Member: Finchen961988
Finchen961988 Mar 21, 2018 at 12:23:12 (UTC)
Goto Top
Welches Benchmark - Tool bevorzugt ihr denn?
Member: chgorges
chgorges Mar 21, 2018 updated at 12:33:34 (UTC)
Goto Top
Ja ich denke es liegt irgendwie am Raid Controller D3116C, ich bin mir zwar sicher den richtig eingestellt zu haben, aber wer weiß?

Hm, dann klärs ab? Über die CIM Provider kannst du via ESXCLI sogar direkt in die RAID-Config des Controllers schauen.

Welches Benchmark - Tool bevorzugt ihr denn?

Crystaldiskmark

Mit 5x SAS 10k Platten im RAID5 komme ich mit nem HP ML350 Gen9 auf ca. 300MB/s Schreibgeschwindigkeit.

Und bau die Jumbo Frames zurück, das kann furchtbar in die Hose gehen.

Und hau deinem Chef was um die Ohren, habs letztes Mal schon gesagt, wofür hat er Angestellte, wenn er es eh besser weiß?
Member: StefanKittel
StefanKittel Mar 21, 2018 at 12:42:17 (UTC)
Goto Top
Zitat von @chgorges:
Und hau deinem Chef was um die Ohren, habs letztes Mal schon gesagt, wofür hat er Angestellte, wenn er es eh besser weiß?
Damit diese die Realität seinen Vorstellungen anpassen durch unmenschliche Anstrengungen
Member: Finchen961988
Finchen961988 Mar 21, 2018 at 12:58:53 (UTC)
Goto Top
tcpnetioservicezufs1
TCP zu FileServer 1
udpnetioservicezufs1
UDp zu FileServer1

tcpnetiozufs2
TCP zu FileServer 2
udpnetiozufs2
UDBP zu Fileserver 2

HDD BENCHMARK kommt noch
Member: Finchen961988
Finchen961988 Mar 21, 2018 at 13:18:23 (UTC)
Goto Top
Also die jumbo Frames habe ich wieder auf Windows Standard zurückgestellt , das war nur ein Versuch, hatte es aber auch in der Switch, im vSwitch und ein Test Client durch gezogen.
War aber nichts!

FileServer 1 PLATTE C
fs1plattec

File Server 1 PLATTE E
fs1plattee

File Server 2 Platte C
fs2plattec

FileServer 2 Platte E
fs2plattee
Member: Finchen961988
Finchen961988 Mar 21, 2018 at 13:19:26 (UTC)
Goto Top
Zitat von @chgorges:

Und hau deinem Chef was um die Ohren, habs letztes Mal schon gesagt, wofür hat er Angestellte, wenn er es eh besser weiß?

Naja er ist nicht lernfähig, ist auch mein letztes Projekt hier!
Member: chgorges
chgorges Mar 21, 2018 updated at 13:28:39 (UTC)
Goto Top
Zitat von @Finchen961988:

Also die jumbo Frames habe ich wieder auf Windows Standard zurückgestellt , das war nur ein Versuch, hatte es aber auch in der Switch, im vSwitch und ein Test Client durch gezogen.
War aber nichts!

FileServer 1 PLATTE C

File Server 1 PLATTE E

File Server 2 Platte C

FileServer 2 Platte E

Ok, die Werte gehen gar nicht. Zum Vergleich, 5x SAS 10k RAID5 auf nem HP ML350 Gen9 (P440ar Controller mit 2GB Cache und FBWC)
raid-performance

Geh an den RAID-Controller und prüf die Cache-Einstellungen.
Member: Finchen961988
Finchen961988 Mar 21, 2018 at 13:35:03 (UTC)
Goto Top
RAID Ctrl SAS 6G 5/6 1GB inkl. FBU das ist ja der D3116C,
da ich mir nu unsicher bin, in letzter Zeit häufiger, kann mir jemand sagen was er bei dem Ding einstellen würde, ich komme gerade per Server Raid Manager nicht drauf!
Member: falscher-sperrstatus
Solution falscher-sperrstatus Mar 21, 2018 at 14:21:14 (UTC)
Goto Top
Zitat von @StefanKittel:

Zitat von @chgorges:
Und hau deinem Chef was um die Ohren, habs letztes Mal schon gesagt, wofür hat er Angestellte, wenn er es eh besser weiß?
Damit diese die Realität seinen Vorstellungen anpassen durch unmenschliche Anstrengungen

oder billigen Einkauf im Forum, logisch. Dem Chef würd ich eins Husten...in welchem Teil Dtld seid Ihr denn unterwegs?
Member: Finchen961988
Finchen961988 Mar 21, 2018 at 14:37:04 (UTC)
Goto Top
Nord/Süd und Italien
Member: SlainteMhath
SlainteMhath Mar 21, 2018 at 14:38:01 (UTC)
Goto Top
Oh, Problem gelöst? An was lag's nun?
Member: Finchen961988
Finchen961988 Mar 21, 2018 at 14:41:44 (UTC)
Goto Top
Es liegt am Raid COntroller

ich werde mir den die Tage zur Brust nehmen und umstellen!

MIt dem Kunden ist es abgesprochen, denn am Freitag Nachmittag fällt ab 14:00 der Hammer!
Member: Finchen961988
Finchen961988 Mar 21, 2018 at 14:45:22 (UTC)
Goto Top
Zitat von @falscher-sperrstatus:

Zitat von @StefanKittel:

Zitat von @chgorges:
Und hau deinem Chef was um die Ohren, habs letztes Mal schon gesagt, wofür hat er Angestellte, wenn er es eh besser weiß?
Damit diese die Realität seinen Vorstellungen anpassen durch unmenschliche Anstrengungen

oder billigen Einkauf im Forum, logisch. Dem Chef würd ich eins Husten...in welchem Teil Dtld seid Ihr denn unterwegs?

Naja was soll ich da machen,
dürfte ich die Angebote machen und bestellen wäre ein INTEL GOLD da reingekommen mit DDR4 und natürlich RAID10,
das lustige ist, der Kunde hätte nochmal 15000€ mehr bezahlt ohne Probleme und das ärgert mich, die Software Firma gibt eine EMPFEHLUNG RAUS und dann nimmt man das als sportlichkeit billiger zu können, was kommt da bei raus?
Member: chgorges
chgorges Mar 21, 2018 at 15:07:03 (UTC)
Goto Top
Zitat von @Finchen961988:

Es liegt am Raid COntroller

ich werde mir den die Tage zur Brust nehmen und umstellen!

Nur nicht so vorschnell, du weißt nicht, ob es am Hardware-RAID-Controller, oder deinen VM-RAID-Controllern liegt.

Mach bitte noch den letzten Test und lade von deinem Service-PC eine 4-8GB ISO-Datei direkt auf den Datastore hoch (also die VMs außen vor lassen).
Was hast du hier für durchschnittliche Übertragungsraten?
Member: SlainteMhath
SlainteMhath Mar 21, 2018 at 15:12:16 (UTC)
Goto Top
Nochmal: Schau dir die IO Last und Latenz auf dem datastore an! Ein Benchmark in einer VM, während die anderen VMs noch voll am rödeln sind, sagt im Prinzip NICHTS über das HW-Raid an sich aus...
Member: Finchen961988
Finchen961988 Mar 21, 2018 at 15:34:59 (UTC)
Goto Top
Download einer 3,6 GB ISO auf einen i7 mit SSD mit 24,2MB/s (per Weboberfläche über FIREFOX)
Hochladen laut WINDOWS zwischen 10MB/s - 35Mb/S

Datenspeicher

dtaenspeicher

Speicheradapter

speicheradapter

Festplatten

hdd
Member: Finchen961988
Finchen961988 Mar 21, 2018 at 15:36:01 (UTC)
Goto Top
16:30 lassen die den Hammer fallen
Member: Finchen961988
Finchen961988 Mar 21, 2018 at 15:39:16 (UTC)
Goto Top
Speicherpfad fehlt noch
speicherpfad
Member: Finchen961988
Finchen961988 Mar 21, 2018 at 15:40:38 (UTC)
Goto Top
Datenspeicher beim hochladen
datenspeicher beim hochladen
Member: Finchen961988
Finchen961988 Mar 21, 2018 at 15:45:37 (UTC)
Goto Top
Zitat von @Finchen961988:

Download einer 3,6 GB ISO auf einen i7 mit SSD mit 24,2MB/s (per Weboberfläche über FIREFOX)
Hochladen laut WINDOWS zwischen 10MB/s - 35Mb/S

Datenspeicher

dtaenspeicher

Speicheradapter

speicheradapter

Festplatten

hdd

Zwischendurch geht die sende Leistung von i7 mal auf 89MB aber nur kurz und das war es dann
Member: SlainteMhath
SlainteMhath Mar 21, 2018 at 15:52:01 (UTC)
Goto Top
Also die Latenzen beim Schreiben sind mE recht hoch. 100ms Peak und >30ms avg ist schon nicht besonders schnell, vA wenn sonst tatsächlich nichts/(nicht viel los ist. Evtl. hilfts etwas, wenn du die VMDKs von thin auf thick/eager zeroed umstellst (falls der Platz vorhanden ist).

Die (Raid-)Treiber auf dem ESXi sind auf dem aktuellen Stand? VMware ist aktuell gepatcht? Und die VMWare Tools in den VMs sind auch aktuell?
Member: Finchen961988
Finchen961988 Mar 21, 2018 at 16:00:21 (UTC)
Goto Top
Treiber aktuell.
Tools aktuell
VMware muss ich gucken