RDP über Ipsec Site2Site mit Verbindungsabbrüchen

Hallo,
folgende Situation:
Wir habe in einem Rechenzentrum Racks angemietet in dem wir Kundenfrastrukturen hosten. Jeder Kunde verfügt über einen eigenen Routers sowohl im RZ als auch vor Ort. Es handelt sich in allen Fällen um T-SDSL Anschlüssen (kundenseitig) im RZ haben sind wir mit 100 Mbit an das Carrier Backbone angeschlossen (geshared). Zwischen Kunde und RZ kommen IPSec Site2Site Verbindungen zum Einsatz. Die Kunden schalten sich im RZ auf Windows Server 2008 R2 Remotedesktop Server auf per RDP. Soweit so gut, nun zu meinem Problem:
Vor zwei Wochen ist es zum ersten Mal aufgetreten, dass alle Kunden quasi zeitgleich angerufen haben, da sie in einem Zeitraum über ca. 1 Stunde merhfache RDP Abbrüche hatten. Also, dass der Bildschirm kurz einfriert und der RDP Reconnect stattfinden. Und nach wenigen Sekunden gehts normal weiter.

VPN Tunnel geprüft -> Steht..... (und keine Abbrüche im betroffenen Zeitraum)!
Bandwith Peeks -> max. 4mbps...
RS mit Carrier -> Logs i.O....
Ping von Kundenseite in RZ Netz -> Geht....jedoch stellenweise Latencyausschläge über 160ms....
RS mit Carrier -> Der Techniker meinte, dass das auf keinen Fall mit der Latenz zusammenhängt.....

Beim ersten Mal hatte ich mich damit abgefunden, dass es "SONST WAS" war....das "IRGENDWO" stattgefunden hat ..... !!
Heute morgen ist genau das selbe wieder passiert. Gleicher Rundruf......gleiches Ergebnis....Keiner wars?

Gibts hier Experten die mir ein Tip geben könnten, in welche Richtung ich mich nochmal umschauen sollte?
Sind RDP Verbindungen gegen 150ms-160ms Latenzzeiten immun? Das hatte ich nämlich ursprünglich vermutet?

Greetz