xaero1982
Goto Top

Failovercluster - Hyper-V Voraussetzungen

Nabend Zusammen,

neuer Tag neuer Spaß:

Aktuell sind zwei verschiedene Server am Laufen. Diese sind über - ich glaube CentOS - und DRBDs als Cluster konfiguriert. Darauf läuft ein virtueller 2008 R2.
Dat soll weg und alles neu.

Software
Ich hab mir jetzt spontan gedacht: Vmware fällt raus, weil die Lizenzkosten für HA/Cluster einfach zu hoch sind. Also dachte ich mir: Hyper-V.
Virtualisiert werden soll ein Server 2016, der letztlich als Domänencontroller, DHCP, DNS, Druckserver, Fileserver und die Frage: SQL Server? Separat? Soll ja eigentlich nicht auf den Domänencontroller?

Lizenz: Pro Knoten brauche ich eine 16 Core Lizenz Server 2016 Standard, korrekt? Bei zwei Knoten macht das dann zwei Lizenzen? + CALs, aber die dann nur einmal, oder?

Hardware
Es ist ein Dell der als Ausfallserver genutzt werden soll - fragt mich gerade nicht welcher das ist.
Es soll ein weiterer neuer Server angeschafft werden. Der braucht im Grunde ja keine Speicherkapazität, weil die VMs ja dann auf dem SAN liegen. Wie sieht das mit Arbeitsspeicher aus? 32GB sollten locker reichen? Und nen Dual-Xeon würde ich mal meinen. Nen einfacher RAID Controller und zwei SSDs?

SAN: Irgendwelche Vorschläge?

Netzwerk
Im Betrieb wird in Zukunft mit dem SQL Server gearbeitet werden - Datenbankgröße derzeit unbekannt, weil die Software noch in Planung ist.
Ansonsten nur als File und Printserver und wie gesagt DC. Reichen da 1Gbit oder sollten es schon 10 Gbit sein? Für den Server und das SAN? Unterstützt Hyper-V 10 Gbit?


Ziel
Ziel soll es sein, dass ein möglicher Defekt eines Servers durch den "alten" Server temporär abgefangen wird bis der Hauptserver wieder läuft. Dass dadurch Geschwindigkeitseinbußen entstehen ist erstmal nebensächlich.


Grüße und Danke face-smile

Content-Key: 337966

Url: https://administrator.de/contentid/337966

Printed on: April 19, 2024 at 13:04 o'clock

Member: Herbrich19
Herbrich19 May 16, 2017 at 22:02:42 (UTC)
Goto Top
Hallo,

Bei Hyper-V sollte der DC aber nicht in einer VM liegen sondern auf einen Physichen Server weil bevor die VM,s Starten muss sich der Server an der Domäne anmelden können.

Mir wurde mal gesagt Firewalls und Domäne Kontroller sollten nicht in VM,s liegen. Wo bei ich der Meinung bin dass bei vmware sowas geht weil vmware keine AD Autentifizierung benötigt aber ein Windows Server (Hyper-V Host) sollte dann doch auf den DC zugriff haben.

Gruß an die IT-Welt,
J Herbrich
Member: Xaero1982
Xaero1982 May 16, 2017 at 22:15:32 (UTC)
Goto Top
Hi Herbrich,

du verwechselst glaube ich gerade die Coreversion vom Hyper-V mit der Gui-Version. Auch bei der Core-Version - zumindest bei 2012 R2 - gab es die Möglichkeit ohne DC zu arbeiten. Aber ich werde einen normalen Server 2016 aufsetzen.

Dann bestelle dem der dir das sagte mal schöne Grüße: Unsinn!

Hilft mir leider nicht wirklich weiter. Dennoch Danke.

Grüße
Member: falscher-sperrstatus
falscher-sperrstatus May 16, 2017 updated at 22:19:10 (UTC)
Goto Top
Hi,

schreibst mir mal eine Mail.

Je nach dem ist eine SAN wieder ein SPoF, also nix gewonnen außer das Projekt. Dann lieber zwei gleiche Server.
Lizenzen brauchst nur eine.
Welcher Durchsatz kommt eher auf das Business an.
32GB? Je nachdem, rechne schonmal locker 4-8GB für den Hyper-V + schön Puffer für SQL, AD, usw. Eine Verdopplung macht den Bock nicht fett, das Projekt aber wesentlich stressfreier (genug Projekte gehabt, in denen Es hiess, dass der RAM aber eng wird...nervt, muss nicht sein)

@herbrich: Schöner ist ein separater AD, die VMs starten bei richtiger Konfiguration allerdings durch aus auch ohne. Muss man halt richtig machen.
edit: Bei vFW geb ich dir größtenteils Recht.

VG
Member: Herbrich19
Herbrich19 May 16, 2017 at 23:35:26 (UTC)
Goto Top
Hallo,

Klar kann man den Host ohne AD betreiben, dann kann der DC natürlich auch Virtualisiert sein. Aber wen der Host in der Domäne ist und alle DC,s Virtualisiert sind dann kann es Probleme geben face-smile

Klar muss man alles auch im Zusamenhang sehen.

Gruß an die IT-Welt,
J Herbrich
Member: falscher-sperrstatus
falscher-sperrstatus May 17, 2017 at 00:15:47 (UTC)
Goto Top
Ob der Hyper-V in der Domäne ist oder nicht ist irrelevant. Wichtiger ist das dahinterstehende Konzept, eben auch für den Fall des (aus)Falles.
Member: Herbrich19
Herbrich19 May 17, 2017 at 00:18:48 (UTC)
Goto Top
Ob der Hyper-V in der Domäne ist oder nicht ist irrelevant. Wichtiger ist das dahinterstehende Konzept, eben auch für den Fall des (aus)Falles.

Ja, das war nur eine algemeine Aussage betreffend Host in der Domäne. Anders gesagt, wen man den DC Virtualisiert sollte der Host nicht in der Domäne sein. Wen man jedoch Hyper-V ohne Domäne installiert dann kann auch der DC Virtuell exisitieren. So war das gemeint face-smile

Gruß an die IT-Welt,
J Herbrich
Member: Dani
Dani May 17, 2017 at 07:59:25 (UTC)
Goto Top
Moin,
Ich hab mir jetzt spontan gedacht: Vmware fällt raus, weil die Lizenzkosten für HA/Cluster einfach zu hoch sind. Also dachte ich mir: Hyper-V.
Wie soll denn das HA Szenario aussehen? Sprich ein Automatismus, der auch am Wochenende funktioniert oder manueller Eingriff durch die IT?

Virtualisiert werden soll ein Server 2016, der letztlich als Domänencontroller, DHCP, DNS, Druckserver, Fileserver und die Frage: SQL Server? Separat? Soll ja eigentlich nicht auf den Domänencontroller?
Bitte, bitte: Ein DC ist ein DC, ist ein DC, etc... DHCP, DNS und Printserver sind okay. Beim Fileserver streiten sich die Geister und den SQL-Server packst du bitte in eine separate VM.

Lizenz: Pro Knoten brauche ich eine 16 Core Lizenz Server 2016 Standard, korrekt? Bei zwei Knoten macht das dann zwei Lizenzen? + CALs, aber die dann nur einmal, oder?
Das hängt davon ab, wie viel Prozessoren mit wie vielen Kernen du im jeweiligen Server verbaut hast. Hier ist das Ganze nochmal bildlich erklärt.

Wie sieht das mit Arbeitsspeicher aus? 32GB sollten locker reichen?
Das hängt von der Anzahl von VMs und deren Bedarf ab. Den Host selbst darfst du nicht vergessen. Da sind 4GB aus meiner Sicht das absolute Minimum. Es gibt dazu ua. kleine Helferlein.

SAN: Irgendwelche Vorschläge?
Bei Hyper-V kann ich mir grundsätzlich einen CSV-Cluster vorstellen, anstatt eines klassischen SANs. Das hängt von deinen Anforderungen ab.

Nen einfacher RAID Controller und zwei SSDs?
Schau auf jeden Fall, dass der RAID Controller eine FBU hat. Gerade bei Stromausfall sicherlich ein Pluspunkt.
Zwei SSDs klingt ebenfalls gut - RAID1 versteht sich.

Reichen da 1Gbit oder sollten es schon 10 Gbit sein? Für den Server und das SAN? Unterstützt Hyper-V 10 Gbit?
Von welchen Datenmengen sprechen wir denn überhaupt für die Bestandsserver? 40GB, 500GB oder 2TB. Ich bin der Meinung, dass 10GBit Kupfer eigentlich heute Standard sein sollte, wenn man bedenkt das die Geräte meist 3-5 Jahre oder noch länger laufen sollen bzw. müssen. Gerade bei LiveMigrationen von VMs macht sich das natürlich deutlich bemerkbar.

Ob die Hypervisor in die Domäne sollen oder nicht, würde ich einen Dienstleister fragen welcher im Bereich Hyper-V schon länger unterwegs ist. Da gibt es die wildesten Behauptungen und Erfahrungen.


Gruß,
Dani
Member: Xaero1982
Xaero1982 May 17, 2017 at 09:53:05 (UTC)
Goto Top
Danke für die Antworten, ich werde mich später noch melden und auf alles eingehen.

Grüße
Member: Xaero1982
Xaero1982 May 17, 2017 at 18:35:32 (UTC)
Goto Top
Nabend Zusammen,

@certifiedit.net:
Mach ich gleich face-smile

Das ist richtig mit dem SPoF, aber wie halte ich mit Hyper-V zwei Server auf dem gleichen Stand?
Naja wie gesagt, abgesehen vom AD, DNS, DHCP, Print, File und 5 Leuten, die auf einen SQL Server zugreifen werden, hält sich das in Grenzen. Vieles wird inzwischen über ein Cloud gemacht.
Haste natürlich Recht, das Reserven besser sind, als keine Reserven.

Gut, ein separater AD kommt nicht auch noch mit in die Tüte. Ich hab woanders auch alles nur virtuell, aber auf VMware laufen und das seit 8 Jahren ohne großen Stress und Probleme.


Zitat von @Dani:

Wie soll denn das HA Szenario aussehen? Sprich ein Automatismus, der auch am Wochenende funktioniert oder manueller Eingriff durch die IT?

Bestenfalls natürlich ohne Eingriff der IT, weil wir auch nur extern sind. Gut, so ein Fall kam in der ganzen Zeit eigentlich nie vor bisher, weil es meist ein Totalausfall war - Strom weg. Da half auch ein zweiter Server nichts face-smile

Bitte, bitte: Ein DC ist ein DC, ist ein DC, etc... DHCP, DNS und Printserver sind okay. Beim Fileserver streiten sich die Geister und den SQL-Server packst du bitte in eine separate VM.

Ja, das mit dem Fileserver sehe ich in der Tat nicht so eng muss ich sagen, aber den SQL würde ich in der Tat, wie du sagst, in eine zweite VM packen - hab ja zwei frei beim Standard.

Das hängt davon ab, wie viel Prozessoren mit wie vielen Kernen du im jeweiligen Server verbaut hast. Hier ist das Ganze nochmal bildlich erklärt.
Schau ich mir an. Ich gehe aber mal von zwei CPUs mit 4-8 Kernen pro CPU aus.


Das hängt von der Anzahl von VMs und deren Bedarf ab. Den Host selbst darfst du nicht vergessen. Da sind 4GB aus meiner Sicht das absolute Minimum. Es gibt dazu ua. kleine Helferlein.

Danke. Denke ich gehe da mit Certifiedit und mache mal 64GB draus.

SAN: Irgendwelche Vorschläge?
Bei Hyper-V kann ich mir grundsätzlich einen CSV-Cluster vorstellen, anstatt eines klassischen SANs. Das hängt von deinen Anforderungen ab.

Okay. CSV Cluster muss ich mich mal belesen. Danke.

Schau auf jeden Fall, dass der RAID Controller eine FBU hat. Gerade bei Stromausfall sicherlich ein Pluspunkt.
Zwei SSDs klingt ebenfalls gut - RAID1 versteht sich.
Jep, das ist klar mit der FBU? (Ich dachte BBU? face-smile )


Von welchen Datenmengen sprechen wir denn überhaupt für die Bestandsserver? 40GB, 500GB oder 2TB. Ich bin der Meinung, dass 10GBit Kupfer eigentlich heute Standard sein sollte, wenn man bedenkt das die Geräte meist 3-5 Jahre oder noch länger laufen sollen bzw. müssen. Gerade bei LiveMigrationen von VMs macht sich das natürlich deutlich bemerkbar.
Na grds. liegen da nur ein paar Officedateien, Bilder, PDFs und sowas drauf und eben der SQL Server.
10 Gbit treibt das natürlich ganz schön in die Höhe. Netzwerkkarte und entsprechender Switch...


Ob die Hypervisor in die Domäne sollen oder nicht, würde ich einen Dienstleister fragen welcher im Bereich Hyper-V schon länger unterwegs ist. Da gibt es die wildesten Behauptungen und Erfahrungen.
Danke, werde ich mich mal umhören face-smile


Gruß,
Dani

Grüße
Member: Dani
Dani May 18, 2017 at 19:32:40 (UTC)
Goto Top
Moin,
Jep, das ist klar mit der FBU? (Ich dachte BBU? )
Flash Backup Unit. Wird heute statt BBU eigentlich verbaut.

10 Gbit treibt das natürlich ganz schön in die Höhe. Netzwerkkarte und entsprechender Switch...
Könnte evtl. durch ein CSV anstatt einem Storage refinanziert werden.


Gruß,
Dani
Member: Xaero1982
Xaero1982 May 18, 2017 at 21:20:59 (UTC)
Goto Top
Nabend Dani,

ich raff das nicht mit dem CSV.

Die CSV's die da erstellt werden, liegen innerhalb des Servers? Verstehe ich das richtig?
Wenn der Server die Gretsche macht ist das doch tot?

Haste mal irgendwas gescheites zum Lesen? face-smile

Grüße
Xaero
Member: departure69
departure69 May 19, 2017 updated at 06:23:08 (UTC)
Goto Top
Hallo.

Ab W2K12R2 gibt's für HYPER-V auch das "Replica"-Feature.

Ich hab' hier zwei nicht baugleiche, aber sehr ähnliche Primergys (zumindest RAM, Plattengrößen und Anzahl der physischen und logischen CPUs ist gleich), der eine arbeitet, der andere wird jede Viertelstunde repliziert. Klappt einwandfrei, und das ohne jegliches SAN, Cluster oder sonstwas in der Richtung dazwischen.

Könnte das eine Lösung für Dich sein?


http://www.it-administrator.de/themen/virtualisierung/fachartikel/19165 ...

https://msdn.microsoft.com/de-de/library/hh831716(v=ws.11).aspx


Einzige wirklich wichtige Voraussetzung, geht auch aus der Grafik im zweiten Link hervor, ist eine möglichst hohe Netzwerkbandbreite, mit der die beiden angebunden sind. Meine beiden machen LACP mit 4 Gbit/s (entsprechende Netzwerkkarten und Switche, die LACP können, sind dazu nötig, W2K12R2 oder höher können das von Haus aus). LWL/Fibre ist also nicht zwingend nötig.


Viele Grüße

von

departure69
Member: psannz
psannz May 19, 2017 updated at 07:18:33 (UTC)
Goto Top
Sers,

Vorab: Schon mal über Hyper-V Replica nachgedacht? Würde den finanziellen Aufwand deutlich drücken, hast aber auch kein echtes HA.


Software
Ich hab mir jetzt spontan gedacht: Vmware fällt raus, weil die Lizenzkosten für HA/Cluster einfach zu hoch sind.
Öhm, vSphere Essentials ist doch wirklich bezahlbar.

Also dachte ich mir: Hyper-V.
Auch gut, die Dinger laufen solide.

Virtualisiert werden soll ein Server 2016, der letztlich als Domänencontroller, DHCP, DNS, Druckserver, Fileserver und die Frage: SQL Server? Separat? Soll ja eigentlich nicht auf den Domänencontroller?
Wie der Rest schon sagte, DC ist ein DC. DNS & DHCP (solange nicht IPAM!) sind aber ok mit drauf. Einen Druckerserver mit buggy Treibern auf einem DC kann dir so manchen Tag versauen...

Hardware
Es ist ein Dell der als Ausfallserver genutzt werden soll - fragt mich gerade nicht welcher das ist.
Solltest sicherstellen, dass beide Server CPUs vom selben Hersteller haben. Live Migration (auch HA) zwischen AMD und Intel CPUs sind nicht möglich.

Es soll ein weiterer neuer Server angeschafft werden. Der braucht im Grunde ja keine Speicherkapazität, weil die VMs ja dann auf dem SAN liegen. Wie sieht das mit Arbeitsspeicher aus? 32GB sollten locker reichen? Und nen Dual-Xeon würde ich mal meinen. Nen einfacher RAID Controller und zwei SSDs?
Mehr RAM. MS SQL Server, bzw. Datenbankserver allgemein, lieben RAM. Dabei fehlen natürlich noch Infos zur DB.

SAN: Irgendwelche Vorschläge?

Habe bei mir das ganze mittels Clustered Storage Spaces (Nicht Storage Spaces Direct) und Windows Server 2016 gelöst, basierend auf 2x Dell R630 (E5 v4) und 1x R720 (E5 v1). Alle drei greifen über ein 12G SAS HBA auf ein Dell MD1420 SAS JBOD zu, in dem ein paar SAS SSD und SAS HDDs verbaut sind, und als Clustered Pool ein paar tiered vDisks als CSV bereitstellt, auf denen die VMs liegen.

Das Storage definiert sich natürlich primär über die IOPS, die deine VMs und Datenbanken brauchen. Da musst du mehr Daten liefern.


Netzwerk
Im Betrieb wird in Zukunft mit dem SQL Server gearbeitet werden - Datenbankgröße derzeit unbekannt, weil die Software noch in Planung ist.
Ansonsten nur als File und Printserver und wie gesagt DC. Reichen da 1Gbit oder sollten es schon 10 Gbit sein? Für den Server und das SAN? Unterstützt Hyper-V 10 Gbit?

Habe bei meinem Cluster nach aussen direkt mit 10G angebunden. NICs und Coreswitche können dabei RDMA.
Die 10G sind allein schon ein dicker Vorteil beim Fahren von Backups, ganz zu schweigen von der Anbindung der Clients.


Ziel
Ziel soll es sein, dass ein möglicher Defekt eines Servers durch den "alten" Server temporär abgefangen wird bis der Hauptserver wieder läuft. Dass dadurch Geschwindigkeitseinbußen entstehen ist erstmal nebensächlich.

Hat der SQL Server Software Assurance? Wegen dem Verschieben auf einen anderen Host?

Grüße,
Philip
Member: Xaero1982
Xaero1982 May 19, 2017 at 17:58:05 (UTC)
Goto Top
Zitat von @departure69:

Hallo.

Ab W2K12R2 gibt's für HYPER-V auch das "Replica"-Feature.

Ist das das gleiche wie "Storage Replica"? Laut https://www.windowspro.de/wolfgang-sommergut/windows-server-2016-lizenzi ... braucht man dazu eine Datacenterlizenz und die kommt nicht in Frage bei dem Preis.

Ich hab' hier zwei nicht baugleiche, aber sehr ähnliche Primergys (zumindest RAM, Plattengrößen und Anzahl der physischen und logischen CPUs ist gleich), der eine arbeitet, der andere wird jede Viertelstunde repliziert. Klappt einwandfrei, und das ohne jegliches SAN, Cluster oder sonstwas in der Richtung dazwischen.

Könnte das eine Lösung für Dich sein?

Könnte, wenn das mit der Lizenz geklärt ist face-smile

http://www.it-administrator.de/themen/virtualisierung/fachartikel/19165 ...

https://msdn.microsoft.com/de-de/library/hh831716(v=ws.11).aspx


Einzige wirklich wichtige Voraussetzung, geht auch aus der Grafik im zweiten Link hervor, ist eine möglichst hohe Netzwerkbandbreite, mit der die beiden angebunden sind. Meine beiden machen LACP mit 4 Gbit/s (entsprechende Netzwerkkarten und Switche, die LACP können, sind dazu nötig, W2K12R2 oder höher können das von Haus aus). LWL/Fibre ist also nicht zwingend nötig.

Ja, das ist klar. Allerdings würde ich dann schon auf 10 Gbit gehen wollen - mal schauen was ich da preislich erträgliches finde.


Viele Grüße

von

departure69

Grüße zurück
xaero
Member: Xaero1982
Xaero1982 May 19, 2017 at 18:04:17 (UTC)
Goto Top
Zitat von @psannz:

Sers,

Vorab: Schon mal über Hyper-V Replica nachgedacht? Würde den finanziellen Aufwand deutlich drücken, hast aber auch kein echtes HA.

Gut, wäre sicher verschmerzbar, aber wie ist das mit der Lizenzierung? Datacenter oder Standard?

Software
Ich hab mir jetzt spontan gedacht: Vmware fällt raus, weil die Lizenzkosten für HA/Cluster einfach zu hoch sind.
Öhm, vSphere Essentials ist doch wirklich bezahlbar.
Das ja, aber so weit ich mich erinnere gibt es da noch kein HA.

Also dachte ich mir: Hyper-V.
Auch gut, die Dinger laufen solide.

Virtualisiert werden soll ein Server 2016, der letztlich als Domänencontroller, DHCP, DNS, Druckserver, Fileserver und die Frage: SQL Server? Separat? Soll ja eigentlich nicht auf den Domänencontroller?
Wie der Rest schon sagte, DC ist ein DC. DNS & DHCP (solange nicht IPAM!) sind aber ok mit drauf. Einen Druckerserver mit buggy Treibern auf einem DC kann dir so manchen Tag versauen...
Keine Frage, aber bisher hatte ich wohl immer Glück mit den Treibern face-smile

Hardware
Es ist ein Dell der als Ausfallserver genutzt werden soll - fragt mich gerade nicht welcher das ist.
Solltest sicherstellen, dass beide Server CPUs vom selben Hersteller haben. Live Migration (auch HA) zwischen AMD und Intel CPUs sind nicht möglich.

Das ist gut zu wissen, aber ja, werden sicher beides Intels sein.

Es soll ein weiterer neuer Server angeschafft werden. Der braucht im Grunde ja keine Speicherkapazität, weil die VMs ja dann auf dem SAN liegen. Wie sieht das mit Arbeitsspeicher aus? 32GB sollten locker reichen? Und nen Dual-Xeon würde ich mal meinen. Nen einfacher RAID Controller und zwei SSDs?
Mehr RAM. MS SQL Server, bzw. Datenbankserver allgemein, lieben RAM. Dabei fehlen natürlich noch Infos zur DB.
Das liegt daran, weil die DB noch nicht existiert. Es ist eine Anwaltssoftware. Genaues kann ich dazu noch nicht sagen.

SAN: Irgendwelche Vorschläge?

Habe bei mir das ganze mittels Clustered Storage Spaces (Nicht Storage Spaces Direct) und Windows Server 2016 gelöst, basierend auf 2x Dell R630 (E5 v4) und 1x R720 (E5 v1). Alle drei greifen über ein 12G SAS HBA auf ein Dell MD1420 SAS JBOD zu, in dem ein paar SAS SSD und SAS HDDs verbaut sind, und als Clustered Pool ein paar tiered vDisks als CSV bereitstellt, auf denen die VMs liegen.

Das Storage definiert sich natürlich primär über die IOPS, die deine VMs und Datenbanken brauchen. Da musst du mehr Daten liefern.

Klingt gut, aber vielleicht reicht auch die Replica-Variante.
Was genau hat es mit den CSV auf sich, wenn ich die ohne Storage betreibe wie von Dani vorgeschlagen?



Netzwerk
Im Betrieb wird in Zukunft mit dem SQL Server gearbeitet werden - Datenbankgröße derzeit unbekannt, weil die Software noch in Planung ist.
Ansonsten nur als File und Printserver und wie gesagt DC. Reichen da 1Gbit oder sollten es schon 10 Gbit sein? Für den Server und das SAN? Unterstützt Hyper-V 10 Gbit?

Habe bei meinem Cluster nach aussen direkt mit 10G angebunden. NICs und Coreswitche können dabei RDMA.
Die 10G sind allein schon ein dicker Vorteil beim Fahren von Backups, ganz zu schweigen von der Anbindung der Clients.

Definitiv ja. Keine Frage. Hatte letztens nen 100mbit Switch getauscht gegen nen SG300-52 und dann feststellen müssen, dass ich vom Server dennoch nur 15 Mb/sek bekomme ... das ist mit ein Grund warum da alles neu gemacht wird.

Ziel
Ziel soll es sein, dass ein möglicher Defekt eines Servers durch den "alten" Server temporär abgefangen wird bis der Hauptserver wieder läuft. Dass dadurch Geschwindigkeitseinbußen entstehen ist erstmal nebensächlich.

Hat der SQL Server Software Assurance? Wegen dem Verschieben auf einen anderen Host?
Tja, da sprichst du was an. Der SQL Server wird vom Hersteller der Software mitgeliefert - gegen Bezahlung natürlich. Der wird mit sicherheit kein SA haben.

Grüße,
Philip

Grüße
Xaero
Member: psannz
psannz May 20, 2017 updated at 08:29:53 (UTC)
Goto Top
Zitat von @Xaero1982:

Zitat von @psannz:

Sers,

Vorab: Schon mal über Hyper-V Replica nachgedacht? Würde den finanziellen Aufwand deutlich drücken, hast aber auch kein echtes HA.

Gut, wäre sicher verschmerzbar, aber wie ist das mit der Lizenzierung? Datacenter oder Standard?

Hat der SQL Server Software Assurance? Wegen dem Verschieben auf einen anderen Host?
Tja, da sprichst du was an. Der SQL Server wird vom Hersteller der Software mitgeliefert - gegen Bezahlung natürlich. Der wird mit sicherheit kein SA haben.

Die beiden Punkte gehören in HA und Replica zusammen. Ohne Software Assurance (SA) wird es lizenztechnisch spannend. Hauptargument für die SA auf der SQL Server Lizenz sind meiner Meinung nach die Warm-Failover-Server Rechte für SQL Server.


Zur CSV Frage: CSV = Cluster Shared Volume. Sprich ein Volume, dass im Cluster verfügbar ist. Kann von einem System bereitgestellt werden, also ohne HA, oder von einem SAN kommen, e.g. via iSCSI, FC oder SAS. Oder eben wie in meinem Fall ein Clustered Storace Spaces Volume
https://technet.microsoft.com/en-us/library/jj612868%28v=ws.11%29.aspx
Member: Xaero1982
Xaero1982 May 20, 2017 at 10:17:37 (UTC)
Goto Top
D.h. ich muss mal klären welches Lizenzmodel von dem Hersteller bereitgestellt wird. Ich vermute aber, dass die nur den "reinen" SQL Server verkaufen. Die haben halt andere Konditionen, weil dieser dann nur für deren Software genutzt werden darf.

Okay, damit bleibt die Frage bei dem CSV: Wenn ich die auf einem System eingerichtet habe und dieses abraucht - dann habe ich doch auf dem anderen keinen Zugriff mehr darauf? Wie denn auch? Wie soll das gehen?

Grüße
Member: psannz
psannz May 20, 2017 at 20:13:07 (UTC)
Goto Top
Zitat von @Xaero1982:
Okay, damit bleibt die Frage bei dem CSV: Wenn ich die auf einem System eingerichtet habe und dieses abraucht - dann habe ich doch auf dem anderen keinen Zugriff mehr darauf? Wie denn auch? Wie soll das gehen?

Na das hängt davon ab von was für einem System das Volume bereitgestellt wird.
  1. Volume auf einem der Server? Ist der Server aus ist auch das Volume down.
  2. Volume auf einem SAN (mit redundanten Köpfen), per iSCSI, FC, oder SAS an die Clusternodes angebunden? Solange das SAN lebt ist auch das Volume im Cluster verfügbar
  3. Volume als Cluster Shared Storage Space angebunden? Solang mindestens ein Clusternode mit dem/den JBODs verbunden ist bleibt das Volume verfügbar.

Und dann gibts noch die vielen anderen Möglichkeiten, e.g. Starwind Virtual SAN, EMC ScaleIO, oder StorageSpaces Direct um einfach mal noch ein paar konvergente Storagelösungen zu nennen. Bis auf die Starwind Software nichts wirklich für deine Anwendung geeignet da zu teuer oder viel zu wenig Nodes.
Member: departure69
departure69 May 22, 2017 at 05:58:18 (UTC)
Goto Top
@Xaero1982:

Hyper-V-Replica braucht kein Datacentre, Std. genügt. Und es nicht das gleiche wie Storage Replica, es wird nicht der Storage repliziert, sondern die virtuellen Maschinen eines Hyper-V auf einen anderen, möglichst ähnlichen (Plattenplatz, RAM, CPU-Leistung, Netzwerkanbindung) Hyper-V. Wenn der erste kaputtgeht, werden die Maschinen stattdessen auf dem Replikatserver gestartet, mit maximal einer Viertelstunde Datenverlust (es lassen sich aber auch kürzere Intervalle zum Replizieren einstellen, die Viertelstunde genügt jedoch bei uns).

Hyper-V-Replica ist noch nicht einmal eine Neuerung des W2K16, sondern gab's sogar schon ab W2K12R2:

https://www.windowspro.de/news/windows-8-server-bringt-hyper-v-replikati ...

Eine ansich völlig harmlose und gut funktionierende Möglichkeit, ohne teures SAN-, Cluster- oder sonstiges Zwischengedöns eine redundante Hyper-V-Umgebung zu haben.


Viele Grüße

von

departure69
Member: Xaero1982
Xaero1982 May 22, 2017 at 21:51:33 (UTC)
Goto Top
Das klingt sehr gut. Danke departure69.
Werde ich mir ansehen.

Grüße
Xaero
Member: Dani
Dani May 26, 2017 at 13:05:16 (UTC)
Goto Top
Moin,
hier etwas Lesestoff zu dem Thema Lizenzierung in Verbindung mit Hyper-V Replica.


Gruß,
Dani
Member: Xaero1982
Xaero1982 May 30, 2017 at 14:28:39 (UTC)
Goto Top
Moin,

ich hab noch mal ne Frage bzgl. DC. In einer Anleitung habe ich gelesen, dass man die beiden Server einer Domäne hinzufügen soll. D.h. ich brauch ja noch einen DC?

Ansonsten wie gehe ich vor:

2x Physikalische Rechner mit frischem 2016 Standard.... Was dann? face-smile

Grüße
x
Member: departure69
departure69 May 30, 2017 at 14:45:47 (UTC)
Goto Top
Nach der Regel: Ein HYPER-V ist ein HYPER-V ist ein HYPER-V, und Hyper-V-Replica mind. Kerberos erfordert, brauchst Du tatsächlich eine Microsoft-Windows-Active-Directory-Domäne.

Eine weitere Regel besagt, daß auch dann, wenn es mehrere DCs gibt, mindestens einer in Blech dastehen sollte.

Heißt: Ein kleiner bis max. mittlerer KMU-Server als DC mit einer weiteren W2K16-Lic. sollte in Deiner Rechnung schon noch drin sein. Backup des DC mit USB-Wechselplatten mittels Onboard-Windows-Server-Sicherung. Fertig ist der Lack.


Viele Grüße
Member: Herbrich19
Herbrich19 May 30, 2017 at 15:09:55 (UTC)
Goto Top
Hallo,

Das habe ich ja schon weiter oben gesagt das man DC,s nicht Virtualisieren soll oder besser gesagt es währe gut wen Mindestens einer auf Blech installiert wird face-smile

Gruß an die IT-Welt,
J Herbrich
Member: Xaero1982
Xaero1982 May 30, 2017 at 17:40:51 (UTC)
Goto Top
Jut, das wird dann schwer bis unmöglich dem Auftraggeber das klar zu machen face-smile
3 Stromfresser, damit zwei laufen ...

Ich glaube ich werde ihm das ausreden. Es gab in 5 Jahren bei uns nicht einmal den Fall, dass der Server abgeraucht ist ... wenn dann beide wegen Strom aus ...

Grüße
Member: Herbrich19
Herbrich19 May 30, 2017 at 18:33:16 (UTC)
Goto Top
Hallo,

Je nach dem wie viele User auf den DC zugreifen muss es nicht gleich der Stärkste Server sein. Ein alter Server der iwo noch rumliegt sollte es als DC auch packen face-smile Weil wie gesagt, blöd wen sich der Hyper-V Host nicht an der Domäne anmelden kann weil der Host auf dem der DC läuft noch nicht gebootet / gestartet wurde.

Gruß an die IT-Welt,
J Herbrich
Member: Xaero1982
Xaero1982 May 30, 2017 at 19:18:40 (UTC)
Goto Top
Laut dem hier brauchts das seit 2016 nicht mehr, aus natürlichen Gründen:
https://www.windowspro.de/marcel-kueppers/windows-server-2016-cluster-oh ...

Mal sehen, ob ich es so zum Laufen bekomme ...

Grüße
Member: departure69
departure69 May 31, 2017 at 05:39:57 (UTC)
Goto Top
@Xaero1982:

3 Stromfresser, damit zwei laufen ...

Ist das Deine Sichtweise, oder die, die Du vom Auftraggeber befürchtest? Das AD dient doch in erster Linie zur zentralen Benutzerverwaltung und bietet darüber hinaus noch jede Menge anderer Vorteile (GPOs, Standorte u. v. w. m.). Selbst dann, wenn ich nur der Admin einer 10-Mann-Bude wäre, würde ich ein AD aufsetzen, auch ohne Gedanken an Virtualisierung oder nicht.

Es gab in 5 Jahren bei uns nicht einmal den Fall, dass der Server abgeraucht ist ... wenn dann beide wegen Strom aus ...

Hhmmm, das haben viele schon gedacht. Irgendwann, natürlich genau dann, wenn es überhaupt nicht passte, ist's dann passiert.

Gegen Stromausfall hilft eine USV. Je nach Dimensionierung auch über Stunden.


Viele Grüße

von

departure69
Member: Xaero1982
Xaero1982 May 31, 2017 at 05:58:22 (UTC)
Goto Top
Moin,

die des Kunden.
AD wird natürlich aufgesetzt, aber eben virtuell und nicht noch mal extra auf einer physikalischen Kiste.

Die war damals im Eimer. Wurde getauscht, aber selbst da hätte mir dann ein Replicat nicht geholfen face-smile

Grüße
xaero
Member: Xaero1982
Xaero1982 Jun 02, 2017 at 10:25:43 (UTC)
Goto Top
Moin,

also ich habe jetzt zwei Hyper-V zum "kommunizieren" gebracht.
Das ganze läuft jetzt über ein Zertifikat welches ich mit Makecert erstellt habe und ohne Domänencontroller. D.h. die Hyper-V laufen stand-alone.

Jaja Hyper-V auf Blech - is nicht. Haben wir nirgends im Einsatz in der Form und das seit Jahren ohne Probleme.

Nun kann ich da lustig meine Server installieren und eine Domäne einrichten.

Spricht da irgendwas gegen?

Grüße
Member: Xaero1982
Xaero1982 Jun 02, 2017 at 10:44:36 (UTC)
Goto Top
Ich hab noch ne Frage zum Replica:

Angenommen Server 1 fällt aus für einen Tag. In der Zeit läuft alles über Server 2. Da Server 1 aus ist findet natürlich auch keine Replikation statt.

Server 1 ist repariert. Wie repliziere ich denn jetzt von Server 2 auf Server 1? Oder schnallt er das automatisch? Wie ist da der Ablauf?

Grüße
Member: departure69
departure69 Jun 02, 2017 at 10:47:51 (UTC)
Goto Top
https://www.windowspro.de/marcel-kueppers/hyper-v-replica-replizierte-vm ...

http://www.it-administrator.de/themen/virtualisierung/fachartikel/19165 ...

Insbesondere auf der Webseite, zu der der zweite Link führt, habe ich die meisten Informationen gefunden, die ich zu Hyper-V-Replica brauchte.

Viele Grüße
Member: Xaero1982
Xaero1982 Jun 05, 2017 at 09:04:59 (UTC)
Goto Top
Moin,

leider geht daraus nicht ganz hervor wie so ein Failover umgesetzt wird.
Also ich hab jetzt mal einen "normalen" Anwendungsfall getestet, also primären HV abgeschaltet und auf dem sekundären die VM hochgefahren. Dann zwei Änderungen durchgeführt, aber wie geht es nun weiter?

Auf dem Sekundären kann ich das Failover abbrechen (d.h. alle Änderungen weg) oder die Replikation rückgängig machen, was er aufgrund des Status der VM nicht zulässt.
Auf dem primären HV kann ich nur fortsetzen machen, was aber nicht geht.

Wie bekomme ich nun die VM wieder auf den primären HV repliziert?

Danke & schöne Pfingsten
Member: departure69
departure69 Jun 06, 2017 updated at 07:23:48 (UTC)
Goto Top
Nur zum Testen mußt Du den ersten nicht herunterfahren. Microsoft hat dafür extra einen Testfailover (sh. Kontextmenü re. Maustaste auf einem der replizierten Server auf dem sekundären Host) eingebaut, die replizierte VM wird vollständig hochgefahren, aber ohne verbundene Netzwerkschnittstellen, deshalb gefahrlos, zum Testen eben. Wenn Du echtes Failover auf einer Replikat-VM auslöst bzw. eine solche einfach startest, und der primäre Host (bzw. darauf die erste Maschine, um die es geht) noch läuft, kriegst Du eine Fehlermeldung.

Wenn ich es richtig verstanden habe, ist Hyper-V-Replica dafür gedacht, daß der erste Host komplett ausfällt. Dann Failover am sekundären Replikat-Host für alle VMs auslösen, VMs laufen wieder, weiterarbeiten, ersten Server reparieren. Ist der erste Host wieder repariert, sind seine VMs ja hoffnungslos veraltet. Du mußt dann die Replikation drehen, indem Du sie auf beiden entfernst und in gegensätzlicher Richtung wieder neu einrichtest, also alles von vorne. Danach ist der reparierte der "Zweite". Wenn Du lieber den reparierten wieder als "Ersten" haben möchtest (weil er vielleicht der stärkere ist - Hardware), muß Du abermals drehen.

Umständlich? Ja. Dafür ist das Feature "Replica" komplett kostenlos (von Lizenzfragen für die einzelnen VMs pro Host mal abgesehen). Und wie oft kommt das vor? Idealerweise niemals. Und wenn doch, dann mußt Du die Zeit für das oben beschriebene Szenario eben leider aufwenden. Dafür sparst Du Dir Cluster, teuren Storage undsoweiter. Und nur dafür ist Replica gedacht. Alles, was über KMU oder gar KU hinausgeht, wird ohnhein den teueren Storage und entsprechende Cluster haben und kein Replica einsetzen. Ich bin mit den Möglichkeiten (allerdings auch mit den vorbeschriebenen Widrigkeiten) von Hyper-V-Replica jedenfalls zufrieden und einverstanden, bin sehr froh darüber, daß es das gibt (der letzte Kostenvoranschlag für ein gescheites SAN, wie wir es ansonsten bräuchten, lag bei cirva 18.000,- EUR Brutto, mein Chef wär' mit beinah mit dem nackten Hintern ins Gesicht gesprungen, ob ich noch ganz dicht sei).


Wenn Dir Hyper-V-Replica aufgrund dessen doch zu umständlich ist, gibt's bestimmt auch noch andere Lösungen.


EDIT:

Im Blödsinn erzählen war ich schon immer ganz groß, vergiß, was ich oben geschrieben habe bzw. nur wenig davon stimmt überhaupt. Hab' nochmal gegoogelt, es ist tatsächlich zumindest etwas komfortabler und eleganter, als ich dachte:

http://www.datacenter-insider.de/failover-mit-hyper-v-replica-durchfueh ...

https://technet.microsoft.com/de-de/library/jj134169(v=ws.11).aspx (sh. 5.2)

https://technet.microsoft.com/de-de/library/dn551365(v=ws.11).aspx


Viele Grüße

von

departure69
Member: Xaero1982
Xaero1982 Jun 06, 2017 at 09:26:47 (UTC)
Goto Top
Moin Departure,

danke für deine ausführliche Antwort face-smile

Ja das mit dem Testfailover ist mir bekannt bzw. schon getestet, aber das stellt ja einen realen Ausfall nicht nach, sondern schaut eben nur, ob die VM läuft. Sicher nützlich um ab und an mal zu schauen, ob die Kiste läuft, aber eben nicht für den realen Ausfall - Server 1 mit HW Defekt.

Lese ich mir gleich mal durch deine Links.

Grüße
Xaero
Member: Xaero1982
Xaero1982 Jun 07, 2017 at 17:03:18 (UTC)
Goto Top
Moin,

also leider wird in den Artikeln nicht wirklich das Rückgängig machen besprochen.

Es gibt offenbar dann wohl zwei Wege. Den den du beschrieben hast. VM auf primären löschen und wieder zurück replizieren und dann wieder umdrehen. Ziemlich umständlich.

Aber man kann auf dem Sekundären auswählen: Failover rückgängig machen. Das steht auch in dem Artikel von dir:
https://technet.microsoft.com/de-de/library/jj134169(v=ws.11).aspx


Aber das ist die Meldung die ich bekomme, wenn ich den Assi durchlaufen lasse.

Also nochmal per PS versucht mit:

Set-VMReplication -reverse -VMName "Server 1 Neu"  

Ergebnis:

Set-VMReplication : Vom virtuellen Computer "Server 1 Neu" wird die zertifikatbasierte Authentifizierung verwendet.  
Zum Rückgängigmachen der Replikation muss ein neues Zertifikat angegeben werden. Wiederholen Sie den Vorgang unter
Angabe eines gültigen Zertifikatfingerabdrucks.
In Zeile:1 Zeichen:1
+ Set-VMReplication -reverse -VMName "Server 1 Neu"  
+ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
    + CategoryInfo          : InvalidArgument: (:) [Set-VMReplication], VirtualizationException
    + FullyQualifiedErrorId : InvalidParameter,Microsoft.HyperV.PowerShell.Commands.SetVMReplication

Wie jetzt? Ein NEUES Zertifikat? Und wo soll ich das angeben? Und was für eins?
Ich dachte MS hat das Henne-Ei-Problem gelöst. Warum dann solche Fallen ohne AD/DC.

Grüße
Xaero
reverse
Member: Xaero1982
Xaero1982 Jun 07, 2017 at 17:16:08 (UTC)
Goto Top
So, habe ich rausbekommen:

Mit
 cd cert:\localmachine\my
&
dir |format-list
Kann man sich die Zertifikate anzeigen lassen. Dann noch das richtige Zertifikat finden und mit folgendem Befehl:

Set-VMReplication -reverse -VMName "Server 1 Neu" -AuthenticationType certificate -CertificateThumbprint LANGEZAHLENREIHENFOLGE  

umkehren. Das Ergebnis ist jedoch das gleiche wie oben:

Set-VMReplication : Fehler beim Ausführen der umgekehrten Replikation.
Aufgrund des Zustands von Hyper-V kann auf dem Replikatserver keine Replikation für den virtuellen Computer "Server 1  
Neu" angenommen werden.  
Fehler beim Ausführen der umgekehrten Replikation für "Server 1 Neu": Vorgang abgebrochen (0x80004004). (ID des  
virtuellen Computers: 9983A78C-5166-43CD-95D6-37E00A6A49C6)
Die Änderungen für den virtuellen Computer "Server 1 Neu" konnten nicht repliziert werden, da aufgrund des Zustands  
von Hyper-V keine Replikation auf dem Replikatserver angenommen werden kann. (ID des virtuellen Computers:
9983A78C-5166-43CD-95D6-37E00A6A49C6)
In Zeile:1 Zeichen:1
+ Set-VMReplication -reverse -VMName "Server 1 Neu" -AuthenticationType ...  
+ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
    + CategoryInfo          : NotSpecified: (:) [Set-VMReplication], VirtualizationException
    + FullyQualifiedErrorId : OperationFailed,Microsoft.HyperV.PowerShell.Commands.SetVMReplication

Welchen Zustand meint MS?
Klar, ich kann das Failover abbrechen und dann geht's wieder, aber damit sind ja auch alle Änderungen an der VM auf dem Sekundären HV futsch.

Grüße
Member: Xaero1982
Xaero1982 Jun 07, 2017 at 17:45:30 (UTC)
Goto Top
Also offenbar ist es in der Tat so, dass man die zu replizierende VM auf dem primaren HV gelöscht werden muss und dann vom sekundären HV neu repliziert werden und dann wieder umdrehen ... super MS face-smile Geile Idee ...

Jedenfalls steht das bisher auf allen Seiten so ... gibt offenbar keine andere Lösung.

Grüße
Member: departure69
departure69 Jun 08, 2017 updated at 06:11:49 (UTC)
Goto Top
Nunja, ich schrieb ja schon, Replica erspart Dir das Cluster und/oder teuren SAN-Storage zwischen den Hypervisoren und kostet nichts. Das das super-duper einfach ist, hat Microsoft nicht versprochen. Und mal ganz ehrlich: Wenn ich ein Failover brauche, dann ist mein erster kaputt, da ist also schon richtig was zu tun, bis die erste HW wieder läuft, bei mir wäre da ohnehin Mehrarbeit/Abendstunden/Nachstunden/Wochenende angesagt, dann hab' ich auch die Zeit, danach die Replikation aufzulösen und wieder einzurichten. Ich find's trotzdem klasse, ich hatte ja weiter oben schon geschrieben, daß mir mein Chef niemals die Kosten für das SAN genehmigt hätte, wie ich es brauchen würde, wenn es Hyper-V-Replica nicht gäbe.

Ich finde, man kann damit arbeiten und kann seitdem ein bisschen besser schlafen, weil ich dem Veeam-Backup auch nicht zu jeder Zeit zu hundert Prozent trauen kann, das zickt schon ab und zu mal rum.

Viele Grüße
Member: departure69
departure69 Jun 08, 2017 updated at 06:09:06 (UTC)
Goto Top
Hier steht noch etwas zu Problemen mit der CA i. V. m. Hyper-V-Replica:

Nach Updateinstallation - Hyper-V-Replikation stellt die Funktion ein

Den Streß hab' ich mir zum Glück nicht angetan, ich mach' das mit Kerberos.

Warum dann solche Fallen ohne AD/DC

Da könnte das Problem bei Dir liegen.

Viele Grüße
Member: Xaero1982
Xaero1982 Jun 08, 2017 at 07:47:41 (UTC)
Goto Top
Moin,

hast schon Recht, aber irgendwie ist das auch nicht zu Ende gedacht. Es wäre doch ein Leichtes für MS gewesen das zu ende zu bringen. Wenn sie schon den Punkt "Replikation rückgängig machen" anbieten, dann soll der Assi das doch auch zu ende bringen. Und wenn der Assi selbst auf dem anderen Replikatserver die veraltete VM löscht und dann repliziert. Aber diese Fehlermeldung, die ja nun auch nicht sagt, dass die alte VM weg muss ist auch etwas irreführend.

Als Backup benutzen wir nur die Windows Server Sicherung. Jetzt auch noch sagen, dass wir Veeam brauchen ... face-smile Du kennst es ja ... darf am besten nix kosten...

Viele Grüße
Member: departure69
departure69 Jun 08, 2017 at 07:57:23 (UTC)
Goto Top
Die Windows-Server-Sicherung ist ja auch in Ordnung, ich nutze die auf einigen physischen Servern. Und die ist sogar Bare-Metal recoveryfähig, also auch auf anderer Hardware wiederherstellbar, da ist überhaupt nichts gegen einzuwenden.

Aber wie und wo nutzt Du die mit/für die VMs? Sicherst Du den physischen Hyper-V-Host damit, inklusive der VMs? Das soll angeblich funktionieren, jedoch soll es damit umständlich sein, nur eine einzelne VM wiederherzustellen. Man sieht beim Recovery nämlich die einzelnen VMs nicht mit ihrem Namen, sondern nur mit Ihrer ID. Man muß per Powershell erst feststellen, welche ID zu welcher VM gehört. Dann sollte es aber gehen.


Viele Grüße
Member: Xaero1982
Xaero1982 Jun 08, 2017 at 10:47:02 (UTC)
Goto Top
Hab ich ehrlich gesagt noch nie probieren müssen, ob das auch funktioniert. Wüsste also nicht mal wie ich das Recovery von der Sicherung mache. Ist auch mit IScsi angebunden an den Server.

Derzeit läuft als Virtualisierer noch was anderes. Frag mich nicht. Hat ein Kollege mal gemacht. Irgendein Linux mit DBDRD und Cluster und Failovergedöns. Das soll nun alles weg.
Die VM sichert sich selbst aus sich heraus mit der Windows Serversicherung.

Die Hyper-V Hosts sind ja noch nicht aktiv. Das ist bei mir gerade alles nur in der Testumgebung.

Vielleicht muss ich die doch noch zu Veeam überreden. Fühl ich mich irgendwie besser bei und ansonsten gibt es ja immer die Replikate von den Servern auf dem Sekundären Hyper-V.

Viele Grüße
Member: falscher-sperrstatus
falscher-sperrstatus Jun 08, 2017 at 10:53:05 (UTC)
Goto Top
Die Replikate sind aber ausdrücklich keine Sicherung...
Member: Xaero1982
Xaero1982 Jun 08, 2017 at 10:54:12 (UTC)
Goto Top
Das ist klar, aber für den absoluten Notfall hab ich sie dennoch - die Replikate face-smile
Member: Herbrich19
Herbrich19 Jun 08, 2017 at 11:00:17 (UTC)
Goto Top
Erinert mich auch an den Spruch *Ein Raid ist ein Raid und bleibt ein Raid. Ein backup ist ein backup und bleibt ein Backup* face-smile

Gruß an die IT-Welt,
J Herbrich