jm23
Goto Top

PHP-Spider startet sich selbst und läuft über Timeout und Browserabbruch

Hallo,

ich entwickle zur Zeit einen Spider, der ca. 40000 Inserate (auf jeweils einer Seite dargestellt) in eine Datenbank einliest. Leider macht PHP, was es will...

Während des Einlesens der Seite mit fsockopen (nicht fopen, da POST-Daten verschickt werden müssen) schreibe ich in ein Logfile. Wenn ich das Script im Browser starte, wird zwar nur ein Ladebalken gezeigt, aber das Logfile wird geschrieben. Soweit so gut. Da aber mein Script ziemlich lange dauert, bis alles eingelesen ist (bei 4000 Inseraten ca. 20 min), zeigt der Firefox nach ein paar Minuten eine leere Seite an und ladet nicht mehr. Das Script läuft aber weiter (da ich das am Logfile sehe). Das ist schon nur daran komisch, weil das Timeout von PHP in der Konfiguration auf 30s (Standard) gesetzt ist. Was noch verrückter ist: nach dem Start des Scripts startet etwa im Intervall von 2 Minuten 3-4 mal eine neue Instanz des selben Scripts...

Hat irgend jemand eine Ahnung was da los ist?

Gruss
jm

Content-Key: 61989

Url: https://administrator.de/contentid/61989

Printed on: April 25, 2024 at 15:04 o'clock