2 Router und 3 Telefone verwenden

Hallo zusammen,

ich hab folgendes Problem:
ich hab einen o2 dsl router classic direkt am dsl im Keller hängen. Daran hängen 2 pcs mit fester ip per LAN und 2 Telefone über Phone 1 und Phone 2 - mehr Telefonports sind nicht vorhanden. Alles funktioniert!
Eine FritzBox WLAN 7170 im 1. Stock ist per LAN1 mit fester ip mit dem o2 Router verbunden. Dies funktioniert auch wunderbar, also eine Internetnutzung ist mit WLAN-Geräten problemlos möglich.
Nun haben wir noch ein drittes Telefon im 2. Stock.
Ist es möglich das dritte Telefon über die FritzBox (dort sind noch 2 Phone Anschlüsse und 1 isdn-Anschluß) anzuschließen und voip zu betreiben?
Wenn ja wie muss ich die Router konfigurieren?
Einfach das Telefon in einen Phone Port der fritzBox zu stecken und in der FritzBox die Internetrufnummern zu registrieren hat nur sehr unbefriedigend funktioniert. Man konnte rausrufen, jedoch hab ich den Angerufenen nicht gehört - er mich schon.
Dann hab ich Port-Weiterleitung 5060 sip und 5004 - 5008 rtp im o2 router eingestellt. Auch das hat nicht geklappt.

Ich bin für jede Hilfe sehr dankbar.