3
Parallele Downloads via Shellscript
Hallo!
Zurzeit arbeite ich an einem Shellscript, welches eine gewisse Anzahl (ca. 20-25) Dateien von verschiedenen Servern (http und ftp) herunterläd. Nach dem download dieser Dateien werden diese verschoben und umbenannt. Der Download erfolgt via wget.
Problem ist nun, das ich immer nur einen Download starte, warte bis dieser fertig ist und anschließend den nächsten starte. wget bietet zwar die möglichkeit als Hintergrundprozess zu arbeiten, womit ich dann, so wie ich mir das denke, mehrer Downloads auf einmal durchführen könnte, aber dann läuft mein Script weiter und bringt mir dadurch natürlich einige Fehlermeldungen, da manche Dateien ja noch nicht vorhanden sind.
Wie könnte ich es nun erreichen, das der Script solange wartet bis alle Downloads abgeschlossen sind? Habe dazu auch schon einige Zeit in die Suche investiert, aber leider noch nicht wirklich etwas dazu gefunden.
Danke schonmal für Eure Hilfe!
Mfg
Zurzeit arbeite ich an einem Shellscript, welches eine gewisse Anzahl (ca. 20-25) Dateien von verschiedenen Servern (http und ftp) herunterläd. Nach dem download dieser Dateien werden diese verschoben und umbenannt. Der Download erfolgt via wget.
Problem ist nun, das ich immer nur einen Download starte, warte bis dieser fertig ist und anschließend den nächsten starte. wget bietet zwar die möglichkeit als Hintergrundprozess zu arbeiten, womit ich dann, so wie ich mir das denke, mehrer Downloads auf einmal durchführen könnte, aber dann läuft mein Script weiter und bringt mir dadurch natürlich einige Fehlermeldungen, da manche Dateien ja noch nicht vorhanden sind.
Wie könnte ich es nun erreichen, das der Script solange wartet bis alle Downloads abgeschlossen sind? Habe dazu auch schon einige Zeit in die Suche investiert, aber leider noch nicht wirklich etwas dazu gefunden.
Danke schonmal für Eure Hilfe!
Mfg
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 78004
Url: https://administrator.de/contentid/78004
Printed on: April 19, 2024 at 13:04 o'clock
3 Comments
Latest comment
Ich habe zwar fast keine Ahnung von Linux, aber ich würde für jeden Download ein eigenes Script erstellen und dann von einem zentralen Script aus alle Download-Scripts starten. Das wäre der Ansatz, den ich verfolgen würde.
Leider bringt das nichts, wenn ich die Downloads auslagere. Mal schaun vielleicht ergibt sich ja noch ne andere Möglichkeit. So an sich läuft der Shell-Script gut nur für Anwender die keine schnelle Internetleitung zur Verfügung haben und damit nicht die gesammte Bandbreite eines Servers nutzen können ist es halt weniger angenehm da dauerts dann schon knapp ne Stunde und das sind insgesammt nur knapp 150 MB. Aber danke trotzdem 
Hallo
Baue doch eine Sleep Time ein
sleep 3 = (wartet 3 Sekunden nach dem Prozess und geht automatisch dann weiter)
oder eine Überrüfung ob die Dateien die du runterlädst an dem Ort sind.
Letzteres weiss ich nicht wie es geht, aber es geht das weiss ich.
gruss
bennos
Jobbörse
Baue doch eine Sleep Time ein
sleep 3 = (wartet 3 Sekunden nach dem Prozess und geht automatisch dann weiter)
oder eine Überrüfung ob die Dateien die du runterlädst an dem Ort sind.
Letzteres weiss ich nicht wie es geht, aber es geht das weiss ich.
gruss
bennos
Jobbörse
