7
Storage zentralisieren
Guten Tag zusammen
Ich bin in der Ausbildung zum Informatiker und habe mir zuhause eine kleine Serverumgebung aufgebaut. Die Server habe ich günstig bei eBay bekommen, es handelt sich um folgende Infrastruktur:
Server 1: Dell PowerEdge R610
CPU: 2 x Intel Xeon X5550 QC
RAM: 48GB DDR3
HDD: 2 x 500GB SATA 7,2k
NIC: 8 x 1Gbit
Server 2: Dell PowerEdge R310
CPU: Intel Xeon X3470 QC
RAM: 24GB DDR3
HDD: 2x600GB SAS 15k
NIC: 2 x 1Gbit
Server 3: Dell PowerEdge R510
CPU: 1 x Intel Xeon E5506
RAM: 8GB DDR3
HDD: 8 x 1TB SATA 7,2k
NIC: 2 x 1Gbit
Server 4: Dell PowerEdge R510
CPU: 1 x Intel Xeon E5506
RAM: 8GB DDR3
HDD: 4 x 2TB SATA 7,2k
NIC: 2 x 1Gbit
Server 1 & 2 dienen als HyperV-Host, Server 3 & 4 dienen als Fileserver und sind per iSCSI an einem virtuellen Fileserver angebunden. Auf den beiden HyperV-Hosts laufen zusammen immer mindestens 20 VMs, zu Testzwecken werden aber zeitweise auch mehr installiert. Mein Problem ist jetzt, dass die IOPS gerne höher sein dürften, insbesondere auf Server 1 merkte ich schon, dass sich die VMS "nur" auf SATA-Platten befinden, aber auch Server 2 ist immer mal wieder ausgelastet da auf diesem SQL, Sharepoint und Exchange virtuell laufen. Um die Performance zu erhöhen würde ich nun gerne ein Server dazu nutzen, die VMs zu speichern also eigentlich ein SAN. Ich habe dazu zwei Lösungsmöglichkeiten:
Lösung 1: Ich kaufe bei Ebay für jeweils 20 Euro 8 Stück 15k SAS-Platten und baue diese in einen der beiden R510 ein, ich würde diese 8 Platten dann mit Raid10 betreiben und nur die VHDs der VMs darauf speichern. Den zweiten R510 würde ich mit 4x2TB + 4x1TB SATA-Platten nutzen, der Speicher reicht dann trotzdem.
Lösung 2: Ich kaufe bei eBay 6 2,5" SAS-Platten und baue diese in den R610 ein, der Storage wird dann mit einem virtuellen iSCSI-Target-Server dem R310 zur Verfügung gestellt und natürlich vom R610 lokal genutzt.
Als Anbindung hätte ich an 4Gbit-FC gedacht, diese bekommt man auch ab 30 Euro bei eBay. Trotzdem würde ich auch gerne von euch wissen, was ihr von 1Gbit-Port-Trunking haltet, der R610 könnte dann ja 8 Schnittstellen bündeln, der Nachteil wäre sicher, dass pro Instanz "nur" 1 Gbit genutzt werden kann, dafür muss ich die Server nicht mit FC nachrüsten.
Was meint ihr? Wie würdet ihr die IOPS erhöhen?
Freundliche Grüsse
Ich bin in der Ausbildung zum Informatiker und habe mir zuhause eine kleine Serverumgebung aufgebaut. Die Server habe ich günstig bei eBay bekommen, es handelt sich um folgende Infrastruktur:
Server 1: Dell PowerEdge R610
CPU: 2 x Intel Xeon X5550 QC
RAM: 48GB DDR3
HDD: 2 x 500GB SATA 7,2k
NIC: 8 x 1Gbit
Server 2: Dell PowerEdge R310
CPU: Intel Xeon X3470 QC
RAM: 24GB DDR3
HDD: 2x600GB SAS 15k
NIC: 2 x 1Gbit
Server 3: Dell PowerEdge R510
CPU: 1 x Intel Xeon E5506
RAM: 8GB DDR3
HDD: 8 x 1TB SATA 7,2k
NIC: 2 x 1Gbit
Server 4: Dell PowerEdge R510
CPU: 1 x Intel Xeon E5506
RAM: 8GB DDR3
HDD: 4 x 2TB SATA 7,2k
NIC: 2 x 1Gbit
Server 1 & 2 dienen als HyperV-Host, Server 3 & 4 dienen als Fileserver und sind per iSCSI an einem virtuellen Fileserver angebunden. Auf den beiden HyperV-Hosts laufen zusammen immer mindestens 20 VMs, zu Testzwecken werden aber zeitweise auch mehr installiert. Mein Problem ist jetzt, dass die IOPS gerne höher sein dürften, insbesondere auf Server 1 merkte ich schon, dass sich die VMS "nur" auf SATA-Platten befinden, aber auch Server 2 ist immer mal wieder ausgelastet da auf diesem SQL, Sharepoint und Exchange virtuell laufen. Um die Performance zu erhöhen würde ich nun gerne ein Server dazu nutzen, die VMs zu speichern also eigentlich ein SAN. Ich habe dazu zwei Lösungsmöglichkeiten:
Lösung 1: Ich kaufe bei Ebay für jeweils 20 Euro 8 Stück 15k SAS-Platten und baue diese in einen der beiden R510 ein, ich würde diese 8 Platten dann mit Raid10 betreiben und nur die VHDs der VMs darauf speichern. Den zweiten R510 würde ich mit 4x2TB + 4x1TB SATA-Platten nutzen, der Speicher reicht dann trotzdem.
Lösung 2: Ich kaufe bei eBay 6 2,5" SAS-Platten und baue diese in den R610 ein, der Storage wird dann mit einem virtuellen iSCSI-Target-Server dem R310 zur Verfügung gestellt und natürlich vom R610 lokal genutzt.
Als Anbindung hätte ich an 4Gbit-FC gedacht, diese bekommt man auch ab 30 Euro bei eBay. Trotzdem würde ich auch gerne von euch wissen, was ihr von 1Gbit-Port-Trunking haltet, der R610 könnte dann ja 8 Schnittstellen bündeln, der Nachteil wäre sicher, dass pro Instanz "nur" 1 Gbit genutzt werden kann, dafür muss ich die Server nicht mit FC nachrüsten.
Was meint ihr? Wie würdet ihr die IOPS erhöhen?
Freundliche Grüsse
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 271841
Url: https://administrator.de/contentid/271841
Printed on: April 19, 2024 at 03:04 o'clock
7 Comments
Latest comment
Moin,
erster Gedanke?: Neid: wer zahlt Dir die Stromrechnung!
(vielleicht nicht alles 24/7)
Im Ernst: bei FC hast Du noch nicht bedacht, daß 4Gbit nicht Ethernet - mit iSCSi - sondern wirklich FC-SAN ist:
So kommen in die Kalkulation noch SAN-Switche, die aber auch günstig bei ebay zu schießen sind.
Wenn der Lerneffekt im Vordergrund steht, fände ich das gut, wenn Du Dich Richtung Administration in größeren Firmen/Rechenzentren siehst.
Ein SAN-Storage kann man auch als FC-Target in OpenSource aufbauen und dann könnten die Platten dort rein und alle Hosts nur noch daran angebunden werden, mehr Platten/"Spindeln", mehr IOPs.
SAN-Fabric, FC generell, FC-Targets sind aber für's nächste Vierteljahr dann "Hobby".
Sonst völlig anders: statt RAIDs eine SSD einbauen und damit für iSCSI/1Gbit genug IOPs haben, Verfügbarkeit ist ja nicht wichtig (privat), d.h. absichtlich kein RAID.
Das kann mit billigen PCIe-SATAIII-Adaptern hochperformant und mit Umbau in den Hotplugrahmen der Dells immerhin noch mit 3Gbit (SATAII) realisiert werden.
HG
Mark
erster Gedanke?: Neid: wer zahlt Dir die Stromrechnung!
(vielleicht nicht alles 24/7)Im Ernst: bei FC hast Du noch nicht bedacht, daß 4Gbit nicht Ethernet - mit iSCSi - sondern wirklich FC-SAN ist:
So kommen in die Kalkulation noch SAN-Switche, die aber auch günstig bei ebay zu schießen sind.
Wenn der Lerneffekt im Vordergrund steht, fände ich das gut, wenn Du Dich Richtung Administration in größeren Firmen/Rechenzentren siehst.
Ein SAN-Storage kann man auch als FC-Target in OpenSource aufbauen und dann könnten die Platten dort rein und alle Hosts nur noch daran angebunden werden, mehr Platten/"Spindeln", mehr IOPs.
SAN-Fabric, FC generell, FC-Targets sind aber für's nächste Vierteljahr dann "Hobby".
Sonst völlig anders: statt RAIDs eine SSD einbauen und damit für iSCSI/1Gbit genug IOPs haben, Verfügbarkeit ist ja nicht wichtig (privat), d.h. absichtlich kein RAID.
Das kann mit billigen PCIe-SATAIII-Adaptern hochperformant und mit Umbau in den Hotplugrahmen der Dells immerhin noch mit 3Gbit (SATAII) realisiert werden.
HG
Mark
Tach,
ich würd mir 2 von den AMD Radeon R7 SSDs kaufen...
Der Vorteil bei dieser SSD ist das du durchegehend stabile IOPS raten hast. Eine 840 Pro hat zwar zu beginn hohe IOPS raten, diese brechen aber recht flott ein.
Die AMD Radeon R7 SSD schafft durchgehend ~ 20000 IOPS!
Wenn du umbedingt ein Storage simulieren willst kannst du das ganze ja in einen Server packen und mit FreeNAS ein iSCSI aufmachen.
Gruß
win-dozer
http://www.computerbase.de/2014-08/amd-radeon-r7-ssd-im-test/7/
ich würd mir 2 von den AMD Radeon R7 SSDs kaufen...
Der Vorteil bei dieser SSD ist das du durchegehend stabile IOPS raten hast. Eine 840 Pro hat zwar zu beginn hohe IOPS raten, diese brechen aber recht flott ein.
Die AMD Radeon R7 SSD schafft durchgehend ~ 20000 IOPS!
Wenn du umbedingt ein Storage simulieren willst kannst du das ganze ja in einen Server packen und mit FreeNAS ein iSCSI aufmachen.
Gruß
win-dozer
http://www.computerbase.de/2014-08/amd-radeon-r7-ssd-im-test/7/
Ne die laufen schon 24/7 
Allerdings muss man sagen, dass sowohl die Dell als auch die HP-Server ab den Generation mit DDR3-Ram einen relativ grossen Sprung in Sachen Effizienz hingelegt haben. Ich hatte schon drei HP-ProLiant-Server (DL160 G6, DL320 G6 und DL320G5p) die ich allerdings verkauft habe da die Server bei mir in einem Raum in der Wohnung stehen und die Dell's zumindest bei den 1HE-Modellen um einiges leiser sind, so hört man die Server nicht gerade in der ganzen Wohnung xD. Ich habe bei meinem DL160 G& mit 2HDD's und QC-CPU damals um die 110 Watt gemessen. Der Dell R310 braucht im Standby trotz zwei 15k SAS-Platten sogar nur 70-80 Watt was wohl der 1156 Plattform zu verdanken ist, aber auch der R610 ist trotz 2 CPUs mit 130 Watt meiner Meinung nach relativ sparsam. Ich verzichte allerdings auf die Redundante Stromversorgung, so spare ich pro Server jeweils ca. 30Watt.
Zurück zum Thema: Mir ist bewusst dass ich eigentlich ein FC-Switch brauche, habe allerdings gedacht, dass bei vier Servern eventuell irgendetwas in Richtung Peer to Peer möglich wäre, sprich jeder Server bekommt eine DualPort-FC-Karte und die beiden Hyper-V-Hosts werden dann jeweils mit einem Storageserver verbunden, wäre das so möglich?
Gruss
Noah
Allerdings muss man sagen, dass sowohl die Dell als auch die HP-Server ab den Generation mit DDR3-Ram einen relativ grossen Sprung in Sachen Effizienz hingelegt haben. Ich hatte schon drei HP-ProLiant-Server (DL160 G6, DL320 G6 und DL320G5p) die ich allerdings verkauft habe da die Server bei mir in einem Raum in der Wohnung stehen und die Dell's zumindest bei den 1HE-Modellen um einiges leiser sind, so hört man die Server nicht gerade in der ganzen Wohnung xD. Ich habe bei meinem DL160 G& mit 2HDD's und QC-CPU damals um die 110 Watt gemessen. Der Dell R310 braucht im Standby trotz zwei 15k SAS-Platten sogar nur 70-80 Watt was wohl der 1156 Plattform zu verdanken ist, aber auch der R610 ist trotz 2 CPUs mit 130 Watt meiner Meinung nach relativ sparsam. Ich verzichte allerdings auf die Redundante Stromversorgung, so spare ich pro Server jeweils ca. 30Watt.Zurück zum Thema: Mir ist bewusst dass ich eigentlich ein FC-Switch brauche, habe allerdings gedacht, dass bei vier Servern eventuell irgendetwas in Richtung Peer to Peer möglich wäre, sprich jeder Server bekommt eine DualPort-FC-Karte und die beiden Hyper-V-Hosts werden dann jeweils mit einem Storageserver verbunden, wäre das so möglich?
Gruss
Noah
SSDs wären sicher eine Lösung allerdings möchte ich lieber in Richtung FC-SAN gehen, da es meiner Meinung nach etwas professioneller ist.
FC-SAN ohne SAN (sprich ohne Switche) geht schlicht und einfach nicht
Nein, streich' das: so wie man's heute macht, geht's nicht:
ein Device/Disk-Shelf kann im L-Mode ("Loop") zur Verfügung gestellt werden, dann braucht man tatsächlich keine Switche:
wurde gemacht, um z.B. einen Server direkt mit seinen Shelfs zu verbinden, wie heute extern SAS.
Was Du aber machen möchtest, sind LUNs auf dem Storage und dieses flexible mit den Hosts verbinden, das geht nur im "Fabric-Mode" mit SAN-Switchen.
Die Technik ist immer zwei Generationen kompatibel, d.h. 4GBit SAN-Karte QLogic 2462 (kann auch FC-Target-Mode), kann an 2Gbit und 1Gbit angeschlossen werden, ein Switch HP 2/8 (2Gbit, 8Ports), kann auch mit 8Gbit-FC-Karten sprechen usw.
Wer heute kommerziell neu aufbaut "professioneller", würde aber Richtung 10Gbit Ethernet "Converged Network" gucken - und dann iSCSI einsetzen.
Nicht nur logisch sondern auch physisch Storage- und LAN zu trennen, ist aber trotzdem State-of-the-Art.
HG
Mark
Nein, streich' das: so wie man's heute macht, geht's nicht:
ein Device/Disk-Shelf kann im L-Mode ("Loop") zur Verfügung gestellt werden, dann braucht man tatsächlich keine Switche:
wurde gemacht, um z.B. einen Server direkt mit seinen Shelfs zu verbinden, wie heute extern SAS.
Was Du aber machen möchtest, sind LUNs auf dem Storage und dieses flexible mit den Hosts verbinden, das geht nur im "Fabric-Mode" mit SAN-Switchen.
Die Technik ist immer zwei Generationen kompatibel, d.h. 4GBit SAN-Karte QLogic 2462 (kann auch FC-Target-Mode), kann an 2Gbit und 1Gbit angeschlossen werden, ein Switch HP 2/8 (2Gbit, 8Ports), kann auch mit 8Gbit-FC-Karten sprechen usw.
Wer heute kommerziell neu aufbaut "professioneller", würde aber Richtung 10Gbit Ethernet "Converged Network" gucken - und dann iSCSI einsetzen.
Nicht nur logisch sondern auch physisch Storage- und LAN zu trennen, ist aber trotzdem State-of-the-Art.
HG
Mark
Alles klar.
Ich habe gestern noch ein kleiner Test durchgeführt. Dabei habe ich auf einem der FreeNas ein weiteres iSCSI.Target erstellt und dieses auf Server 1 eingebunden. Dann habe ich zwei Windows 8 VM's erstellt, eine lokal und eine auf dem iSCSI-Target. Mittels Diskspd habe ich dann einige Benchmarks ausgeführt. Überraschend war, dass bei den meisten Test das iSCSI-Target trotz 1Gbit LAN mehr IOPS geschafft hat als die Lokale Platte. Für die Tests habe ich keine Link Aggregations oder VLANs erstellt.
Wenn man bedenkt, dass der iSCSI-Server auch "nur" über SATA-Platten verfügt, denke ich, ich könnte auch schon über iSCSI mit SAS-Platten sehr hohe IOPS erzeugen. Ich denke hierbei an folgendes: Evtl. die zwei 600GB SAS-Platten des einen Dells verkaufen und aus dem Erlös 8 Stück 146GB 15k-Platten kaufen. Aus diesen dann auf einem der R510 ein RAID10 erstellen. Dazu evtl. noch eine zweite Dualport-NIC einbauen. Mit NIC-Teaming oder wenn ich jede der vier NICs bestimmten VM's zuweise dürfte so auch eine anständige Performance erreicht werden.
Die Frage ist nun: Ist das ein Versuch wert oder sollte ich gleich auf FC setzten?
Eine weitere Frage die ich habe: Wie sollte ich das mit der Replikation am besten anstellen? Ich würde gerne ein Hyper-V Failovercluster erstellen und einen R510 als Storageserver für die VMs benutzen. Der zweite R510 soll als Fileserver dienen. Kann ich die VMs vom VM-Storage auf den normalen Fileserver replizieren? Eine weitere Frage: Ist es überhaupt möglich mit der Infrastruktur ein Failovercluster zu erstellen? Schliesslich hat der eine Host 48GB und der andere 24GB RAM. Was würde passieren wenn nun der 48GB-Ram Server ausfallen würde? Der 24GB-Ram Server kann dann die VMs ja nicht übernehmen solange er den zugewiesenen RAM nicht reduziert. Ansonsten hätte ich noch meinen ProLiant DL320 G6 den ich eigentlich verkaufen wollte. Ich könnte allerdings die Hälfte des RAMs aus Server 1 ausbauen und in den HP einbauen, dann hätte ich 3 Hosts die alle über 24GB RAM verfügen.
Freundliche Grüsse und vielen Dank im vorraus
Noah
Ich habe gestern noch ein kleiner Test durchgeführt. Dabei habe ich auf einem der FreeNas ein weiteres iSCSI.Target erstellt und dieses auf Server 1 eingebunden. Dann habe ich zwei Windows 8 VM's erstellt, eine lokal und eine auf dem iSCSI-Target. Mittels Diskspd habe ich dann einige Benchmarks ausgeführt. Überraschend war, dass bei den meisten Test das iSCSI-Target trotz 1Gbit LAN mehr IOPS geschafft hat als die Lokale Platte. Für die Tests habe ich keine Link Aggregations oder VLANs erstellt.
Wenn man bedenkt, dass der iSCSI-Server auch "nur" über SATA-Platten verfügt, denke ich, ich könnte auch schon über iSCSI mit SAS-Platten sehr hohe IOPS erzeugen. Ich denke hierbei an folgendes: Evtl. die zwei 600GB SAS-Platten des einen Dells verkaufen und aus dem Erlös 8 Stück 146GB 15k-Platten kaufen. Aus diesen dann auf einem der R510 ein RAID10 erstellen. Dazu evtl. noch eine zweite Dualport-NIC einbauen. Mit NIC-Teaming oder wenn ich jede der vier NICs bestimmten VM's zuweise dürfte so auch eine anständige Performance erreicht werden.
Die Frage ist nun: Ist das ein Versuch wert oder sollte ich gleich auf FC setzten?
Eine weitere Frage die ich habe: Wie sollte ich das mit der Replikation am besten anstellen? Ich würde gerne ein Hyper-V Failovercluster erstellen und einen R510 als Storageserver für die VMs benutzen. Der zweite R510 soll als Fileserver dienen. Kann ich die VMs vom VM-Storage auf den normalen Fileserver replizieren? Eine weitere Frage: Ist es überhaupt möglich mit der Infrastruktur ein Failovercluster zu erstellen? Schliesslich hat der eine Host 48GB und der andere 24GB RAM. Was würde passieren wenn nun der 48GB-Ram Server ausfallen würde? Der 24GB-Ram Server kann dann die VMs ja nicht übernehmen solange er den zugewiesenen RAM nicht reduziert. Ansonsten hätte ich noch meinen ProLiant DL320 G6 den ich eigentlich verkaufen wollte. Ich könnte allerdings die Hälfte des RAMs aus Server 1 ausbauen und in den HP einbauen, dann hätte ich 3 Hosts die alle über 24GB RAM verfügen.
Freundliche Grüsse und vielen Dank im vorraus
Noah
Moin,
beides (FC und iSCSI) um zu üben, beides nicht, um selbst produktiv zu sein:
Deine Ressourcen reichen für einen Dienstleistungsbetrieb mit 30 Angestellten,
Stromverbrauch 1kW/Stunde ?! - d.h. Heizlüfter mit 1000W 24/7/365 - Wärme muß auch noch abgeleitet werden.
Falls Du erwägst, etwas davon online zu halten, brich' diesen Teil auf einen (nicht weiter redundanten) Server mit DAS - also integrierten SAS-Platten, RAID1 - runter.
Alles andere nur zum Testen, und wg. des Wertverfalls mit den jetzt vorhandenen großen Platten und nicht billigeren vielen kleinen Platten.
Setz' doch ein ZFS unter Nexenta/OpenSolaris mit den zwei Platten und 20GB Ram als SAN-Storage auf und stelle den Storage als FC-Target UND iSCSI-Target vergleichsweise den Virtualisierungs-Hosts zur Verfügung.
Die Plattform reicht für FISI für 1 Jahr Ausbildung ohne an eine Beschränkung zu stoßen.
HG
Mark
beides (FC und iSCSI) um zu üben, beides nicht, um selbst produktiv zu sein:
Deine Ressourcen reichen für einen Dienstleistungsbetrieb mit 30 Angestellten,
Stromverbrauch 1kW/Stunde ?! - d.h. Heizlüfter mit 1000W 24/7/365 - Wärme muß auch noch abgeleitet werden.
Falls Du erwägst, etwas davon online zu halten, brich' diesen Teil auf einen (nicht weiter redundanten) Server mit DAS - also integrierten SAS-Platten, RAID1 - runter.
Alles andere nur zum Testen, und wg. des Wertverfalls mit den jetzt vorhandenen großen Platten und nicht billigeren vielen kleinen Platten.
Setz' doch ein ZFS unter Nexenta/OpenSolaris mit den zwei Platten und 20GB Ram als SAN-Storage auf und stelle den Storage als FC-Target UND iSCSI-Target vergleichsweise den Virtualisierungs-Hosts zur Verfügung.
Die Plattform reicht für FISI für 1 Jahr Ausbildung ohne an eine Beschränkung zu stoßen.
HG
Mark
