Waiting Times im Netzwerk machen mich noch wahnsinnig!

Ich habe folgendes Problem das mich noch in den Wahnsinn treibt.
Ich habe ein Netzwerk das aus folgenden Geräten besteht.
PC1 (HP PC Win7 32 bit - 3 GB Ram - GB Lan)
Server1(HP Proliant ML 150-VM ESXi mit einer virtuellen Maschine Windows 7 Pro 32bit-3GB Ram-GB LAN)
Server2 (Wortmann PC (Intel Atom D525)Lokale Installation Windows 7 Pro 32bit - 3GB Ram-GB Lan-SSD)
Server3 (Zotac Box Intel Atom D525 VM ESXi 4GB Ram -> 1 Virtuelle Maschine Win7 Pro 32bit-3GB Ram-GB LAN)

Auf allen 4 Maschinen läuft exakt die gleiche Konfiguration von Windows 7, sowie die selbe Konfiguration von Xampp mit Joomla als CMS.

Wenn ich jetzt mit dem Benchmark Tool von Google Chrome von PC1 aus die Seite von Server1 aufrufe, habe ich eine Network Waiting Time bis zum Aufbau der Seite von ca. 300millisekunden (ms).
Die gleiche Zeit vergeht wenn ich die lokale Seite auf PC1 aufrufe.
Diese Zeiten sind für mich absolut akzeptabel.

Wenn ich nun allerdings von PC1 die Seite auf Server2 oder Server3 aufrufe, vergeht eine Waiting Time von immer mind. 1,4 bis 1,6 Sekunden bis die Seite zurückkommt (die Ladezeit der index.php beträgt überall gleich 2 bis 4ms)
Selbst auf Server2 und Server3 habe ich diese Waiting Time wenn ich die Seite lokal auf der jeweiligen Maschine aufrufe.
Ich werde noch wahnsinnig weil ich mir aufgrund der exakten Installationen und Konfigurationen (bis auf verschiedene Hardwaretypen)keinen Reim machen kann woher diese Zeiten kommen.

Hat irgendjemand einen Tip oder eine Idee?

Wäre für jede Anregung dankbar.