grinskeks
Goto Top

Schneller lokaler Storage für vSphere Essentials Host

Hallo zusammen,

aktuell stelle ich mir die Frage nach dem Sizing eines vSphere Essentials Hosts.

Dieser erhält einen lokalen Storage und bedient neben mehreren Servern mit Hauptversionen unserer Software auch einige Datenbankserver auf Basis MSSQL, beginnend mit SQL 2005 bis heute.
Zusätzlich werden Build-Hosts für die Entwicklung drauf laufen.

Der abzulösende Server hatte einen LSI 9260-8i mit BBU und Raid-5-Sata (4 Disks) sowie Raid-10-SSD.

Grundsätzlich bin ich damit nicht schlecht gefahren - allerdings ist der SSD-Platz begrenzt und der SATA-Verbund schnell an der Lastgrenze.
8 Slots stehen mit für HDD/SSD zur Verfügung. Für NVME stellt sich mir die Frage nach Redundanz - da sind mir noch keine Raid-Controller bekannt.

Für die Server benötige ich insgesamt ca. 3 TB Platz , für die Datenbanken aktuell ~ 400 GB. Aktuell rechne ich mit einem jährlichen Wachstum von ca. 30%.

Zum übrigen Sizing :
2 x Xeon E5 2620 (2.1 GHz, 20 MB Cache, 8 Core)
128 GB DDR4-2400 ECC
Supermicro X10RDi


Besonderheiten:
Unser Serverraum ist ein 19" Schrank im (klimatisierten) Flur - direkt angrenzend ist ein Büro, so dass wir bei den verbauten Komponenten auf Lautstärke achten müssen. Wir verwenden Tower-Server-Chassis mit Whisper Quiet Belüftung (~28 DB) - selbst die Lüfter des Schranks laufen auf 25 DB.

Wie würdet ihr dies umsetzen? Geschwindigkeit ist wesentlich - zumindest für die Datenbanken, auf der anderen Seite könnte auch der Rest einen Schub erfahren.
Gibt es im Forum Erfahrungen zu Hybridbetrieb (Cachecade etc.) oder einen anderen Ansatz, den ich wählen kann?

Gruß
Grinskeks

Content-Key: 334748

Url: https://administrator.de/contentid/334748

Printed on: April 25, 2024 at 14:04 o'clock

Mitglied: 108012
Solution 108012 Apr 10, 2017 at 11:00:23 (UTC)
Goto Top
Hallo,

aktuell stelle ich mir die Frage nach dem Sizing eines vSphere Essentials Hosts.
Dieser erhält einen lokalen Storage und bedient neben mehreren Servern mit Hauptversionen unserer Software auch einige
Datenbankserver auf Basis MSSQL, beginnend mit SQL 2005 bis heute.
Zusätzlich werden Build-Hosts für die Entwicklung drauf laufen.
Ein Controller für das OS und die Build Hosts und einen Controller mit eigenem RAID für die DBs und ein RAID für die DB Chunks.

Der abzulösende Server hatte einen LSI 9260-8i mit BBU und Raid-5-Sata (4 Disks) sowie Raid-10-SSD.
Ich würde zwei RAID Contorller verbauen wollen und dann eben andere RAIDs aufziehen wollen. Ist teurer aber kann auch
länger in Benutzung bleiben und somit amortisieren sich die Kosten wieder. Heute gibt es auch schon Controller die anstatt
der BBU eine Zero Maintenance Cache mitbringen dann muss man nicht alle zwei Jahre ~199 Euro extra investieren!

Für die Server benötige ich insgesamt ca. 3 TB Platz , für die Datenbanken aktuell ~ 400 GB. Aktuell rechne ich mit einem
jährlichen Wachstum von ca. 30%.
Auf jeden Fall SAS 15k HDDs für die DB oder gar größere RAID fähige SSDs für die DB benutzen
Controller 1:
2 x 1 SAS HDD10k oder SSDs im RAID1 für das OS
6 x SAS HDDs 10k für RAID5 Entwickler VMs
Controller 2:
4 x SAS HDDs 15k RAID10 für die DBs
4 x SAS HDDs 15k RAID5 für die DB Chunks

Budget Empfehlung:
- Intel® Xeon® Prozessor E5-2687W V3
(FC-LGA4, "Haswell EP", boxed) Taktfrequenz: 3.100 MHz, Kerne: 10 Kerne, Sockel: 2011-3
Aktuelle Empfehlung:
- Intel® Xeon E5-2687Wv4, Prozessor
(FC-LGA4, "Broadwell EP") Taktfrequenz: 3.000 MHz, Kerne: 12 Kerne, Sockel: 2011-3

Wie würdet ihr dies umsetzen?
Ich würde gleich überlegen wollen ob man nicht einfach zwei Server als Cluster aufsetzt und dann auch ein oder zwei SANs
dahinter packt, denn dann hat man bessere Chancen aufzurüsten oder aber auch die HDDs aufzustocken.

Geschwindigkeit ist wesentlich - zumindest für die Datenbanken, auf der anderen Seite könnte auch der Rest einen Schub
erfahren.
15k SAS HDDs oder gar RAID fähige SSDs.

Gibt es im Forum Erfahrungen zu Hybridbetrieb (Cachecade etc.) oder einen anderen Ansatz, den ich wählen kann?
Es gibt Controller die SSDs als Cache benutzen und darüber sollte man sich auch einmal informieren.

Selbstverständlich wäre für mich persönlich aber schon einmal dass man zwei RAID Controller verbaut, und nicht unter 3,0HGHz
geht bei den CPUs und möglichst 10 bis 12 Kerne sollten die CPUs haben! Und dann noch an das Netzwerk denken, wenn schon
dann bitte gleich 10 GBit/s RDMA Adapter von Intel oder gar Chelsio benutzen damit ist man dann auch der sicheren Seite, denn
was nützt Euch ein schneller Server und das Netzwerk kann es nicht transportieren. Eventuell also auch an schnellere Switche denken.

Gruß
Dobby
Member: Dr.EVIL
Solution Dr.EVIL Apr 11, 2017 at 07:47:34 (UTC)
Goto Top
Hallo Dobby.

Zu deinen hervorragenden Ausführungen, möchte ich bemerken, das die 15k Festplatten heute nicht mehr die gewohnte Qualität der noch vor einigen Jahren verwendeten 3,5" Platten aufweisen.
In meiner Praxis "sterben" die 2,5" 15k SAS "Enterprise Class" HDUs (unabhängig vom Hersteller) häufig bereits in der Garantiezeit den "Heldentod"...
(Hohe Stromaufnahme und daraus resultierende Betriebstemperaturen vordern ihren Tribut...)
face-sad
Ich würde daher diesen Plattentyp meiden und stattdessen den etwa 20-25% Geschwindigkeitsvorteil durch ein entsprechend größeres RAID10 Array kleinerer 10k Platten ersetzen.
...Oder sofort zu MU (oder höher) SAS SSD Wechseln (Wenn man derzeit welche bekommt...)

Im übrigen bin ich kein Freund von unterschiedlichen Plattentypen in getrennten RAID in einem Server!
Ich empfehle einen (gern per SSD-Cache unterstützen) RAID10 oder RAID50/60 Verbund möglichst vieler Platten, der dann vom OS in die gewünschten Bereiche partioniert wird.
Gehäuse mit ca. 24 SFF Slots werden von allen mir bekannten Herstellern angeboten.
Den Geschwindigkeit- und Redundanzsvorteil einer solchen Konfiguration kann man leicht mit einem Kalkulator, wie z.B. diesem, errechen:
http://wintelguy.com/raidperf.pl
Mitglied: 108012
Solution 108012 Apr 11, 2017 at 09:07:58 (UTC)
Goto Top
Zu deinen hervorragenden Ausführungen, möchte ich bemerken, das die 15k Festplatten heute nicht mehr die gewohnte Qualität
der noch vor einigen Jahren verwendeten 3,5" Platten aufweisen.
SAS 10k/15k zu 300 GB und 600 GB oder gar 900 GB arbeiten bei mir eigentlich gut durch, und von den Ausfällen her ist es
auch erträglich. Was benutzt Du denn für HDDs wenn man einmal fragen darf.

In meiner Praxis "sterben" die 2,5" 15k SAS "Enterprise Class" HDUs (unabhängig vom Hersteller) häufig bereits in der
Garantiezeit den "Heldentod"... (Hohe Stromaufnahme und daraus resultierende Betriebstemperaturen vordern ihren Tribut...)
Wir setzen ausschließlich auf 3,5" Modelle mit SAS Schnittstelle und 10k oder 15k und sind eigentlich bis dato immer gut damit gefahren.

Ich würde daher diesen Plattentyp meiden und stattdessen den etwa 20-25% Geschwindigkeitsvorteil durch ein entsprechend
größeres RAID10 Array kleinerer 10k Platten ersetzen. ...Oder sofort zu MU (oder höher) SAS SSD Wechseln (Wenn man derzeit
welche bekommt...)
Naja er hat 6 x 200 GB SSDs im Einsatz und wenn man nun 4 x 900 GB als RAID10 nimmt und 4 x 600 GB als RAID5 nimmt ist
man da schon ein Stück weiter.

Gehäuse mit ca. 24 SFF Slots werden von allen mir bekannten Herstellern angeboten.
Das finde ich wiederum gut.

Im übrigen bin ich kein Freund von unterschiedlichen Plattentypen in getrennten RAID in einem Server!
An einem Controller sicherlich nicht aber dafür sollen es ja auch zwei Controller sein und dann pro Controller einmal 10k und einmal 15k.

Gruß
Dobby
Member: Dr.EVIL
Solution Dr.EVIL Apr 11, 2017 at 13:17:54 (UTC)
Goto Top
Zitat von @108012:


auch erträglich. Was benutzt Du denn für HDDs wenn man einmal fragen darf.

Vor allem Seagate und HGST!
Von den 136 Platten (alles 2,5" 300GB Typen) die derzeit produktiv sind, fällt durchschnittlich alle 3 Wochen eine aus...
(Egal welcher Hersteller)
In unserem alten "Backup und spiel Storage" (HP EVA) werken mitlerweile 7-9 Jahre alte 3,5" 15k Typen ohne große Probleme

An einem Controller sicherlich nicht aber dafür sollen es ja auch zwei Controller sein und dann pro Controller einmal 10k und einmal 15k.

Rechne mal nach:
Ein RAID5 aus 8 (7+1) 10k Platten ergiebt (grob gerechnet) ca. 480IOPS.
Ein RAID10 aus 8 (4x2) 15k Platten ergiebt etwa 900IOPS
Ein RAID50 aus (2x 7+1) 10k Platten erzeugt aber 960IOPS!
(Und das bei nur einem Controller höherer Nettokapazität und "billigeren" Platten)
Da ich davon ausgehe, das moderne RAID Controller leistungsstark genug ist um 16 12Gbit/s SAS Platten in einem RAID ohne Leistungsverlust zu betreiben, denke ich das das früher übliche "Stückeln" von RAIDs heute nicht mehr nötig ist...
Zwei getrennte RAID Controller setze ich nur noch ein, wenn ich bspw. SAS und SATA in einem Server gemeinsam betreiben muss.
Member: Grinskeks
Grinskeks Apr 12, 2017 at 14:57:47 (UTC)
Goto Top
Vielen Dank schon mal für die Infos, Eindrücke und den Link zu den Rechnern!

Zwei Controller machen absolut Sinn, da es mir eine höhere Flexibilität gibt.
Die Berechnung der Iops macht es mir auch leichter, das richtige Setup zu wählen.
Cache Vault / Zmcp werden zukünftig eingesetzt.

Einige Einschränkungen sind noch gegeben, denen ich unterliege:

Thermal Design - da muss ich aufpassen, nicht zu viel Wärme zu generieren, da das Kühlkonzept an sich schon suboptimal ist. Ich könnte die Klima auf Arktis setzen - die Kollegin aus der Buchhaltung würde sich jedoch nicht so freuen, immer mit Mantel durch den Flur laufen zu müssen.

Budget: Knapp 4000 Euro nur für die CPUS bekomme ich nicht durch. Aber mit 16 x 2.1GHz bei 20MB Cache, halber TDP und einem Viertel des Preises in Vergleich zu den E5-2687W V3 kann ich leben.

10Gbit/s Ports sind noch nicht gegeben. SAN,HA,VMotion sind in weiter Ferne. Dafür bekomme ich demnächst zumindest Replikation hin und kann bis zu 3 Hosts mit vSphere (Essentials ohne Plus) befeuern.
Aktuell werden 4x 1Gbit/s eingesetzt, auch wenn es nicht optimal ist. Zum Glück spielt sich sehr viel innerhalb der virtuellen Switche ab, somit habe ich zumindest virtuell 10Gbit/s.

Lautstärke: <25 DB außen sind aktuell gut. Mit den SAS könnte das schnell anders werden. + 8 DB sind eine Verdopplung der Lautstärke - das schaue ich mir nochmal an - in Ruhe face-wink

Zu CacheCade und NVME habe ich mich bereits versucht schlau zu machen - für ersteres habe ich testfähige Hardware, sobald der neue Server kommt und kann mal schauen, wie sich das so schlägt. Beim Broadcom/Avago/LSI Controller gibt es eine Trial. Vielleicht lässt sich damit kurzfristig noch am Setup schrauben.

Für NVME fehlt mir ein wenig das Verständnis zum Raidkonzept- ich kenne nur einen (armseligen) Hardware Controller von Highpoint und der hat meines Erachtens kein Einsatzszenario, dass Sinn macht - ausser vielleicht als Untersetzer mit Klarlack oder zum Öffnen von Bierflaschen.
Mit den Raid-Softwarekonzepten habe ich mich bisher nur rudimentär beschäftigt - das taugt nur bedingt bei Stromausfall oder Abstürzen würde ich meinen - oder liege ich da falsch?

Insgesamt entwickelt sich alles sukzessive - für alles auf einmal ist das Budget zu knapp.

Gruß
Grinskeks
Member: Dr.EVIL
Solution Dr.EVIL Apr 13, 2017 updated at 09:44:00 (UTC)
Goto Top
Zitat von @Grinskeks:

Thermal Design - da muss ich aufpassen, nicht zu viel Wärme zu generieren, da das Kühlkonzept an sich schon suboptimal ist. Ich könnte die Klima auf Arktis setzen - die Kollegin aus der Buchhaltung würde sich jedoch nicht so freuen, immer mit Mantel durch den Flur laufen zu müssen.

Ohne abgeschlossenen und ausrechend klimatiesierten Serverraum, oder zumindest ein schall und Kälteisoliertes "Rack-Enclosure" kannst Du 90% aller sinnvollen IT Konzepte schlichtweg abhaken!
Keine Infrastruktur = "Bastelstuben EDV"


Budget: Knapp 4000 Euro nur für die CPUS bekomme ich nicht durch. Aber mit 16 x 2.1GHz bei 20MB Cache, halber TDP und einem Viertel des Preises in Vergleich zu den E5-2687W V3 kann ich leben.

Die 2687v4W ist der "Ferrari" unter den CPU!
Allerdings hat sie eine Stromaufnahme von schlappen 160Watt.(und das zwei mal!)
Daher wird sie nur in relativ wenigen Servern angeboten, bei denen nicht das Motherboard aufgrund der Stromaufnahme im Dauerbetrieb "durchbrennt".
In diesem Fall aber eh nur eine theoretische Möglichkeit, da Du die Wärmeleistung nicht abgeführt bekommst.
Ich schlage (ernsthaft!) einen Server mit Strom und Abwärme-sparenden "Notebook Prozessor" vor (Z.B. Intel E3-1240Lv5, Intel Celeron, Intel I3)
(Passt dann auch besser ins Budget...)


Lautstärke: <25 DB außen sind aktuell gut. Mit den SAS könnte das schnell anders werden. + 8 DB sind eine Verdopplung der Lautstärke - das schaue ich mir nochmal an - in Ruhe face-wink

Je kleiner der Server, desdo lauter! Genau so die Platten: Je schneller die Rotation, desdo "unangenehmer" das Geräusch.
Ich würde hier einen "klassischen Standserver" mit großen, aber langsamen Lüftern empfehlen
SSD erzeugen hierbei keine geräusche und emittieren nur wenig Abwärme.


Für NVME fehlt mir ein wenig das Verständnis zum Raidkonzept- ich kenne nur einen (armseligen) Hardware Controller von Highpoint und der hat meines Erachtens kein Einsatzszenario, dass Sinn macht - ausser vielleicht als Untersetzer mit Klarlack oder zum Öffnen von Bierflaschen.

Hake NVMe ruhig ersteinmal ab...
Ausser dem noch "exorbitanten" Preis, gibt bspw. noch kein "Hardware-RAID" hierfür. Bei den NVMe PCI Karten fehlt zudem die "Hot-Plug" möglichkeit.
Der Mehrpreis für diese Speichertechnologie lohnt sich imho nur, wenn die Software direkt darauf zugreifen kann (Z.B. wie bei Oracle, SAP HANA, oder auch Datacore)
Allerdings tut sich derzeit eine Menge bei dieser Technologie. Behalte sie ruhig im Auge. Bei der nächsten Server Generation wird sie eine bedeutendere Rolle spielen...


Mit den Raid-Softwarekonzepten habe ich mich bisher nur rudimentär beschäftigt - das taugt nur bedingt bei Stromausfall oder Abstürzen würde ich meinen - oder liege ich da falsch?

Ich denke, das siehst du Richtig!
Die Legende vom billigen und schnellen Massenspeicher nur durch Software und ohne Hardware RAID Controller wird bereits seit Windows NT4.0 erzählt. Heute gerne unterstützt durch teure RDMA Netzwerke und NVMe Speicher als "Storage Spaces" o.ä.
Ein "traditionelles" blockorientiertes (Shared) Storage ist aber m.M. immer noch bedeutend preiswerter und betriebssicherer.
Mitglied: 108012
Solution 108012 Apr 14, 2017 at 11:17:08 (UTC)
Goto Top
Budget: Knapp 4000 Euro nur für die CPUS bekomme ich nicht durch.
Also es gibt DBs die sind auf eine CPU angewiesen die viele Kerne anbieten können und dann gibt es wiederum DBs die auf
jeden Fall nicht unter 3,0Ghz laufen sollten, aber sicherlich auch mit einer CPU mit weniger Kernen klarkommt, welche DB
hast Du (habt Ihr) vor Ort und wie verhält sie sich bei welcher CPU!?

Aber mit 16 x 2.1GHz bei 20MB Cache, halber TDP und einem Viertel des Preises in Vergleich zu den E5-2687W V3 kann ich leben.
Dann lieber nur 6 Kerne oder 8 Kerne aber mit 3,0GHz dann geht es auch flotter ab oder aber man nimmt wie schon angesprochen
eine CPU mit weniger GHz und dafür mit mehr Kernen! Was hast Du jetzt für CPUs und was kommt noch alles dazu!? Das ist doch die
Frage die man sich stellen muss, denn wenn es jetzt schon zu langsam ist dann muss es sicherlich nicht zwingend eine schnellere CPU
sein aber dafür eventuell eine CPU mit mehr Kernen und schnelleren SSD/HDDs.

Thermal Design - da muss ich aufpassen, nicht zu viel Wärme zu generieren, da das Kühlkonzept an sich schon suboptimal ist.
Ich könnte die Klima auf Arktis setzen - die Kollegin aus der Buchhaltung würde sich jedoch nicht so freuen, immer mit Mantel
durch den Flur laufen zu müssen.
Es gibt da zwei unterschiedliche Wege die man gehen kann. Zum Einen nimmt man einen gedämmten 19" IT Schrank wie zum
Beispiel von Lehmann IT und dann hört man fast nichts mehr braucht aber einen gekühlten Raum und zum Anderen kauft man
einen Kompressorschrank der denn intern gekühlt wird wie nichts, der aber lauter ist als der gedämmte IT Schrank.

10Gbit/s Ports sind noch nicht gegeben. SAN,HA,VMotion sind in weiter Ferne. Dafür bekomme ich demnächst zumindest
Replikation hin und kann bis zu 3 Hosts mit vSphere (Essentials ohne Plus) befeuern.
Es gibt auch günstige Switche für solche Sachen wo man nicht gleich im 3.500 Euro pro Switch Abteil mitfahren muss!
Cisco SG500XG (SMB/KMU)
D-Link DGS1510 (Budget)
Netgear XS7xxT Serie (kostengünstig via RJ45 - 10GbE)

Aktuell werden 4x 1Gbit/s eingesetzt, auch wenn es nicht optimal ist. Zum Glück spielt sich sehr viel innerhalb der virtuellen
Switche ab, somit habe ich zumindest virtuell 10Gbit/s.
Ist ja auch ok so, aber Du hast nachgefragt wie der Rest auch einen Schub erfahren könnte!

Lautstärke: <25 DB außen sind aktuell gut. Mit den SAS könnte das schnell anders werden. + 8 DB sind eine Verdopplung der
Lautstärke - das schaue ich mir nochmal an - in Ruhe 
Und mit den 7.200 RPM HDDs wird es aber auch nicht signifikant schneller werden.

ich kenne nur einen (armseligen) Hardware Controller von Highpoint und der hat meines Erachtens kein Einsatzszenario,
dass Sinn macht - ausser vielleicht als Untersetzer mit Klarlack oder zum Öffnen von Bierflaschen.
Hoffentlich ist das nicht der aus der Firma!

Mit den Raid-Softwarekonzepten habe ich mich bisher nur rudimentär beschäftigt - das taugt nur bedingt bei Stromausfall
oder Abstürzen würde ich meinen - oder liege ich da falsch?
ZFS ist in aller Munde nur beides zusammen ist dann eher schön! Entweder richtige RAID Controller PCIe Karten oder ein
Software RAID mit ZFS. Da sollte man sich vorher drüber erkundigen und dann entscheiden was zu einem passt.

Gruß
Dobby
Member: Grinskeks
Grinskeks Apr 20, 2017 at 07:55:10 (UTC)
Goto Top
Vielen Dank für das umfangreiche Feedback!

Zugegeben, das Szenario ist nicht optimal, aber es entwickelt sich.
Ich würde es nicht gebastelt nennen, sondern "unter gegebenen Rahmenbedingungen optimal angepasst".

Ich verwende Supermicro Tower-Server mit 19" Umbaukit und Serverkomponenten mit Blick auf eine geringere thermische Belastung.
Die Umgebung hat max. auch im Sommer 23°c und wird durch die Lüfter im 42" Serverschrank umgewälzt .

Unser jetziger vSphere-Host hat einen einzelnen Xeon 5620 (Westmere, 4x 2.4GHz, 12MB Cache) und wird nun um einen zweiten Host erweitert.
Ansonsten sind noch 2 Rack-Usv im Schrank (1x für die Server, 1 x für die Clients) sowie ein NAS-Standgerät und Switches und Patchpanel.
Ein weiteres NAS-Standgerät ist außerhalb des Schranks und hält ebenfalls Backups vor, falls uns der Schrank mal um die Ohren fliegt.

Wir haben hier sehr viele (dutzende aktive, hunderte vorhandene) Datenbanken - wenige haben mehr als 20 GB Größe. Die meiste Performance wird von den Transaktionen gefordert. Es wird entwickelt und Daten werden migriert. Die CPU-Last ist in den meisten Use-Cases gering.
Aufwändige Jobs bezogen auf Rechenzeit laufen zeitgesteuert (EOB).

Gruss Grinskeks