Zwei Router im Verbund Draytek Vigor 2820n und Speedport W504V

Ja, das ist technisch problemlos machbar ! Alle deine Fragen beantworten die folgenden Forums Tutorials:
Kopplung von 2 Routern am DSL Port
Kopplung in der "Alternative 2"
Grundlagen IPsec:
IPSEC Protokoll - Einsatz, Aufbau, benötigte Ports und Begriffserläuterungen

In der Speedport Gurke davor musst du dann lediglich die VPN Protokoll Ports per Port Forwarding auf den Draytek (IP WAN Port) forwarden.
Leider bist du bei der Beschreibung des VPN etwas oberflächlich und teilst und nicht mit WELCHES VPN Protokoll du benutzt, deshalb raten wir hier mal das es IPsec ist ?!
Du musst dann folgende Port bzw. Protokolle forwarden aus denen IPsec besteht:

• UDP 500 (IKE)
• UDP 4500 (NAT Traversal)
• ESP Protokoll mit der IP Protokoll Nummer 50 (Achtung: nicht UDP oder TCP 50 ! ESP ist ein eigenes IP Protokoll)

Da du dann ein statisches Port Forwarding benutzt auf dem Speedport auf die IP des WAN Ports des Drayteks ist es sehr sinnvoll dem Draytek eine feste und statische IP Adresse aus dem internen LAN des Speedports zu geben die außerhalb der DHCP Range des Speedports liegt.
Machst du das nicht und arbeitest mit DHCP kann sich durch dessen Dynamik einmal die Draytek IP Adresse ändern und damit funktioniert das VPN dann nicht mehr.
Zur besseren Stabilität also immer besser mit statischen IPs da arbeiten !
Hier deine To Dos:

• Speedport Gurke einrichten und am LAN Port auf Internet Connectivity testen
• Draytek im Setup auf static IP am WAN Port setzen und dort einen IP aus dem LAN Netz des Speedports vergeben die außerhalb der DHCP Range des Speedport liegt !
• Draytek Gateway und DNS Settings am WAN Port auf die LAN IP Adresse des Speedports konfigurieren
• Draytek mit WAN Port am LAN Port des Speedports anschliessen und Internet Connectivity vom Draytek LAN testen die funktionieren sollte.
• Auf dem Speedport unter Port Forwarding (Port Weiterleitung) die o.a. Protokolle auf die WAN IP des Draytek forwarden.
• Jetzt sollte auch das VPN fehlerfrei funktionieren.
• Fertisch !

Ein Warnung zum Schluss: Unter Netzwerkern ist allseits bekannt das der Speedport billiger Consumer Schrott ist was Router anbetrifft. In der Hauptsache ist das leider auch das Port Forwarding Verhalten bei einigen Modellen. Wunder dich also nicht wenn es da mal nicht so klappt wie gewollt. Manchmal hilft ein Firmware Update auf die neueste Version.

Generell kann man sagen das du schon einen initialen Kardinalsfehler begangen hast bei der Auswahl der Hardware für die von dir geforderte Feature Kombination. Vermutlich aus Unkenntniss der Materie ?!
Diese gesamte Frickelei mit 2 Systemen hättest du dir mit einem einzigen Router ersparen können der dir alles in einer Box hätte realisieren können auf Draytek Preisniveau:
Cisco 880, 890 und ISR Router Konfiguration mit xDSL, Kabel oder FTTH Anschluss plus VPN und IP-TV
Deine Frickellösung wird aber auch funktionieren wenn du es richtig konfigurierst und der Speedport keinen Murks macht.