mittelzumzweck
Goto Top

Via FTP daten in unterverzeichnissen laden

Hallo liebe gemeinde

ich möchte gerne daten vom ftp.mozilla.org runterladen.

die struktur ist in etwa so

ftp\mozilla.org\firefox\releases\1.0\win32\de\firefox.exe
ftp\mozilla.org\firefox\releases\2.0\win32\de\firefox.exe
ftp\mozilla.org\firefox\releases\3.0\win32\de\firefox.exe
ftp\mozilla.org\firefox\releases\4.0\win32\de\firefox.exe
ftp\mozilla.org\firefox\releases\5.0\win32\de\firefox.exe

nun würde ich gerne wissen wie ich diese daten auf meinen lokalen rechner verschiebe.

ftp
open -A ftp\mozilla.org // -A um sich anonym einzuloggen
cd mozilla.org\firefox\releases\

und dann muss ja irgent etwas mit mget kommen. nur was genau? weil mit mget *.exe passiert nichts.
es muss doch noch irgend einen parameter geben das der unterverzeichnisse überprüft.

vielen dank schon mal im vorraus.

mfg mittel

Content-Key: 192688

Url: https://administrator.de/contentid/192688

Printed on: April 18, 2024 at 01:04 o'clock

Member: Lochkartenstanzer
Lochkartenstanzer Oct 12, 2012 at 13:07:43 (UTC)
Goto Top
Zitat von @MittelzumZweck:
Hallo liebe gemeinde

ich möchte gerne daten vom ftp.mozilla.org runterladen.

die struktur ist in etwa so

ftp\mozilla.org\firefox\releases\1.0\win32\de\firefox.exe
ftp\mozilla.org\firefox\releases\2.0\win32\de\firefox.exe
ftp\mozilla.org\firefox\releases\3.0\win32\de\firefox.exe
ftp\mozilla.org\firefox\releases\4.0\win32\de\firefox.exe
ftp\mozilla.org\firefox\releases\5.0\win32\de\firefox.exe

nun würde ich gerne wissen wie ich diese daten auf meinen lokalen rechner verschiebe.

>ftp
>open -A ftp\mozilla.org // -A um sich anonym einzuloggen
>cd mozilla.org\firefox\releases\

und dann muss ja irgent etwas mit mget kommen. nur was genau? weil mit mget *.exe passiert nichts.
es muss doch noch irgend einen parameter geben das der unterverzeichnisse überprüft.

"mget -r . sollte das rekursiv kopieren. zumidenst wenn der ftp-server das kann.

Aber das tut nciht das was Du willst.

du müsstest eher sowas wie

mget */win32/de/*.exe

tippen, was aber nur mit Glück funktionieren wird

Wenn Du genug pltz hast, könntest Du einfach ein

wget -r -c -np ftp://ftp.mozilla.org/pub/firefox/releases/


loslassen, aber das müllt dir die Platte voll.

Snnvoller wäre es mit lynx oder wget rekursiv durch die directories zu arbeiten und nur die gewünschten versionen herauszufiltern. das geht dann aber nicht mehr in einem einzeiler,

lks
Member: MittelzumZweck
MittelzumZweck Oct 12, 2012 at 13:22:17 (UTC)
Goto Top
bei

mget */win32/de/*.exe

sagt er mir

200 Switching to ascii node.

und bei

wget -r -c -np ftp://ftp.mozilla.org/pub/firefox/releases/

ungültiger befehl

//ist wget nicht ein linux befehl?

was mir noch sehr helfen würde wäre eine ausführliche referenz zu ftp.

woher z.B kennst du die parameter
Member: SlainteMhath
SlainteMhath Oct 12, 2012 at 13:46:28 (UTC)
Goto Top
Moin,

wget ist kein ftp-Befehl, sondern ein Standalone Programm das u.A. ftp Server bzw Verzeichnisse komplett spiegeln kann. Entsprechende Binaries findest du über Google.

Die komplette ftp-Doku, in der auch die Standard-befehle enthalten sind findest du unter http://www.w3.org/Protocols/rfc959/

lg,
Slainte
Member: MittelzumZweck
MittelzumZweck Oct 12, 2012 at 13:57:21 (UTC)
Goto Top
Danke @SlainteMhath,

ich bin mittlerweile meiner lösung sehr nahe. brauche nur noch jemanden der das finished.

wenn ich

mget -r */win32/de/*.exe

mit mget -r */win32/de/*.exe
fängt er an zu laden. allerdings läd er auch txt dateien, und fragt mich jedes mal ob er laden soll.
dies reicht erst mal.
aber ich weiss nicht wie ich ihm das bestätige.
Mitglied: 60730
60730 Oct 12, 2012 updated at 14:01:02 (UTC)
Goto Top
moin mittelzumzweck...nomen est omen

welchen zweck hat es für uns / nachfolgende , wenn wir "dir" was beibringen und einen Tag später steht beim Aufrufen der "Frage"

Upps! Dieser Beitrag kann nicht mehr aufgerufen werden (1113)

Und wenn wir schon dabei sind, welchen Sinn hat die Suchfunktion, wenn die von Fragestellern wie dir nicht benutzt wird?
Wenn jemand soviele Finger an einer Hand hätte, wie es gelöste Fragen oder sogar Anleitungen zu dem Thema geben würde - der wäre wirklich Arm dran.

Amen.
Member: MittelzumZweck
MittelzumZweck Oct 12, 2012 at 14:12:02 (UTC)
Goto Top
Hatte das gefühl das ich den thread bisschen zugemüllt habe, bzw hat sich die frage erledigt, da ich das projekt geändert habe. falls das schlecht war entschuldige ich mich dafür. sorry. fürs nächste mal weiss ich bescheid.

P.S das wär in einer pn zu regeln.und bei allem respekt nützlich ist das jetzt nicht gewesen.
Mitglied: 60730
60730 Oct 12, 2012 updated at 15:24:03 (UTC)
Goto Top
Ich saaachs mal so...

"für dich" mag das wohl stimmen, aber du siehst da etwas "falsch".

Warum beantworten wir hier anderen Ihre Fragen?
Vielleicht gibts den einen oder anderen, den das auch interessiert?
Vielleicht gibts den anderen oder den einen, der hilft um geholfen zu werden zu sein zu täten?

Ganz sicher deswegen und deswegen auch nicht per PN, weils möglicherweise interessant für andere sein könnte.

Und nun fraach ich mal "nach dem Motto" watt isse ne Dampfmaschiinn - wenn das da oben potentiell für Fremdfragen gilt, was bedeutet das dann für Tuts/Anleitungen und Tipps?

PS:
Wegen Respekt - weißt du -den muß sich einer erst verdienen, den hat nich jeder.
Wenn ich dir den Tipp gebe -suchfunktion benutzen und dann kommt nicht das, was ich mir erhofft habe, dann kann ich mir die Frage stellen - verdient der den oder will der nur (wie so manch andere) Doll vor seinem Cheff da stehen, aber wir sollen die Arbeit dann bitte für Ihn machen tun sollen.

Ok?
Und falls das immer noch nicht klar genug war - selbst ich kleines lichtlein hab hier so manche Frage mitgelöst, die hier zu dem Thema x mal gestellt wurde und ich bin nicht der einzige.
Stichwort Finger an einer Hand, wie Freds zum Thema.

"So - jetzt gehen wir alle nochmal pinkeln und dann Reiten wir los"

Merci 4 die Aufmerksamkeit
Member: MittelzumZweck
MittelzumZweck Oct 15, 2012 at 07:29:37 (UTC)
Goto Top
flamewar ende ok. wenn niemand was dagegen hat.

also hab folgendes.

nach der eingabe

>ftp -A ftp.releases.org
>ftp cd pub/mozilla.org/firefox/releases/
>ftp prompt
>ftp mget -r */win32/de/*.exe

scheint er rekursiv in alle verzeichnisse zu gehen. jedch sagt er mir ständig "Failed to open file".

gibt es einen anderen weg, in allen unterverzeichnissen, die .exe dateien zu laden?
Member: Lochkartenstanzer
Lochkartenstanzer Oct 15, 2012 updated at 07:59:33 (UTC)
Goto Top
Zitat von @MittelzumZweck:
----
... scheint er rekursiv in alle verzeichnisse zu gehen. jedch sagt er mir ständig "Failed to open file".

ftp.mozilla.org sagt mir:

230-
230-   ftp.mozilla.org / archive.mozilla.org - files are in /pub/mozilla.org
230-
230-   Notice: This server is the only place to obtain nightly builds and needs to
230-   remain available to developers and testers. High bandwidth servers that
230-   contain the public release files are available at ftp://releases.mozilla.org/
230-   If you need to link to a public release, please link to the release server,
230-   not here. Thanks!
230-
230-   Attempts to download high traffic release files from this server will get a
230-   "550 Permission denied." response.
230 Login successful.

Wenn Du die beiden vorletzten Zeilen anschaust, wirst Du wissen warum.


lks

Nachtrag: Wenn Du releases.mozilla.org statt ftp.mozilla.org benutzt, stimmen deine Pfade nicht.
Member: MittelzumZweck
MittelzumZweck Oct 15, 2012 at 08:10:13 (UTC)
Goto Top
ja das problem habe ich auch schon gehabt. das problem bei releases.mozilla.org ist immer nur die aktuelle FF version vorhanden. ich jedoch brauche so gehesen alles ab 3.6.

das heisst also ich kann das vergessen, weil bei ftp.mozilla.org der traffic dahin gehend eingeschränkt wird?
Member: Lochkartenstanzer
Lochkartenstanzer Oct 15, 2012 at 08:13:56 (UTC)
Goto Top
Zitat von @MittelzumZweck:
ja das problem habe ich auch schon gehabt. das problem bei releases.mozilla.org ist immer nur die aktuelle FF version vorhanden.
ich jedoch brauche so gehesen alles ab 3.6.

das heisst also ich kann das vergessen, weil bei ftp.mozilla.org der traffic dahin gehend eingeschränkt wird?

Manuell herunterladen oder einen downloadmanager einsetzen, der moderat mit der Bandbreite umgeht.

Du kannst z.B. eine Liste der Dateien erstellen und diese dann per wget (oder einem anderen Downloadmanager) unter Angabe einer maximalen downloadrate herunterladen.


lks
Member: MittelzumZweck
MittelzumZweck Oct 15, 2012 at 08:22:19 (UTC)
Goto Top
das wird das automatisieren denkbar schwierig.

ich schilder dir mal das gesamtkonzept.

FF ab 3.6 alle vers. runterladen u. installieren, mit profilen, damit jede seperat startbar.
dann ein script das die aktuellste FF vers. runterläd, silent installiert, ordner erstellt, profil erstellt, verkünpfung erstellt. ende.

das ganze findet auf einer VM unter esxi statt.

ziel des projektes.

eine homepage soll unter x belibiger kombination von FF testbar sein.

später kommen noch andere browser hinzu, sprich chrome,IE,opera.
also nur die gängisten.
Member: Lochkartenstanzer
Lochkartenstanzer Oct 15, 2012 at 09:50:45 (UTC)
Goto Top
moin,

lynx --dump ftp://ftp.mozilla.org/pub/mozilla.org/firefox/releases/ | grep ftp:// | gawk ' { print $2 } '  | xargs lynx --dump | grep ftp:// | gawk ' { print $2 } '   | grep "exe$"

Gibt Dir eine Liste der windows-Firefoxe bis zu der 2.0 Beta aus, die Du dann einfach per wget herunterladen könntest. Für die anderen Firefoxe kann man sich entsprechend eine passende Zeile bauen.

lks
Member: Lochkartenstanzer
Lochkartenstanzer Oct 15, 2012 updated at 12:54:51 (UTC)
Goto Top
Moin,

folgende Kommando-Folge, in beiner bash ausgeführt, z.B. xBSD oder cygwin für windowsfans, holt Dir alle deutschen und eglischen Füchse als win-Executable.

 lynx --dump ftp://ftp.mozilla.org/pub/mozilla.org/firefox/releases/ | grep ftp:// | gawk ' { print $2 } '  | tee stage1.txt
 cat stage1.txt  | xargs lynx --dump | grep ftp:// | gawk ' { print $2 } ' | tee stage2.txt
 grep exe$ stage2.txt  | tee stage2.exe.txt 
 grep win32$ stage2.txt  | tee stage2.win32.txt 
 cat stage2.win32.txt  | xargs lynx --dump | grep ftp:// | gawk ' { print $2 } ' | tee stage3.txt
 grep /de stage3.txt | tee stage3.de.txt 
 grep /en stage3.txt |  grep -v win32/en-ZA | tee stage3.en.txt  
 cat stage3.*.txt | xargs  lynx --dump | grep ftp:// | gawk ' { print $2 } ' | tee stage4.txt
 time wget -c -r -np -x -i stage4.exe.txt 
 time wget -c -r -np -x -i stage2.exe.txt

lks

PS: Da ich auch des öfteren mal ältere Feuerfüchse brauche, habe ich einfach mal die bash angeworfen.

Achtung: Die obige Folge funktioniert nur mit der aktuellen verzeichnisstruktur von ftp.mozilla.org.

Und bevor Ihr mehre reGB herunterholt, bedenkt, ob Ihr das wirklich braucht.
Member: MittelzumZweck
MittelzumZweck Oct 15, 2012 at 13:01:11 (UTC)
Goto Top
wow das übersteigt meinen horizont ein bisschen. und unter der cmd läuft das wohl kaum oder.
könntest du mir etwas schritt für schritt mäßiges geben.

nen script das wirklich "nur" ab ../releases/*/win32/de/*.exe in den unterordnern die .exe dateien hohlt.

fühlt sich grade so an als würde ich damit mit ner bazooka auf fliegen schiessen. ^^

ich wüsste nicht mal wo ich dieses script einsetze.
ich würde ungern die cmd verlassen. da muss es doch irgend etwas wie
ftp mget -r */win32/de/*.exe
geben, das auch funktioniert.
Member: Lochkartenstanzer
Lochkartenstanzer Oct 15, 2012 updated at 13:10:47 (UTC)
Goto Top
Zitat von @MittelzumZweck:
wow das übersteigt meinen horizont ein bisschen. und unter der cmd läuft das wohl kaum oder.
könntest du mir etwas schritt für schritt mäßiges geben.

nen script das wirklich "nur" ab ../releases/*/win32/de/*.exe in den unterordnern die .exe dateien hohlt.

fühlt sich grade so an als würde ich damit mit ner bazooka auf fliegen schiessen. ^^

ich wüsste nicht mal wo ich dieses script einsetze.
ich würde ungern die cmd verlassen. da muss es doch irgend etwas wie
>ftp mget -r */win32/de/*.exe
geben, das auch funktioniert.

Wie ich schon sagte:

Mit BSD/LINUX/CYgwin hast Du das in null-kommanichts:

cygwin installieren und dann kannst du gleich loslegen. Darauf achten, daß auch lynx, wget und gawk mitinstalliert werden.

Oder Du nimmst Dir eine linux-live-CD und startest die Kommandos in dem Ordner wo das ganz hin soll.

Wenn Du nur die neueren haben willst (.../win32/...) kannst Du einfach die letzte zeile weglassen.

lks

PS: Aktuell hat das Skript 2,8GB heruntergeladen.


PPS: Das ganz oben kann man natürlich auch als Einzeiler hinschreiben, aber ich habe das der Übersichtlichkeit wegen nicht gemacht.
Member: MittelzumZweck
MittelzumZweck Oct 15, 2012 at 13:14:50 (UTC)
Goto Top
wenn ich dazu aber nachher das fachgespräch halten werde, werde ich nichts dazu sagen können, ausser das jemand aus administrator.de mir nen script gegeben hat.

es muss was selbstgemachtes sein, damit ich den leuten dazu was sagen kann. ich danke dir ECHT!!! vielmals, und seeehr für die mühe die du dir hier für ne wildfremde person machst. aber leider ist das nicht das was ich suche.
Member: Lochkartenstanzer
Lochkartenstanzer Oct 15, 2012 at 13:38:46 (UTC)
Goto Top
Zitat von @MittelzumZweck:
wenn ich dazu aber nachher das fachgespräch halten werde, werde ich nichts dazu sagen können, ausser das jemand aus
administrator.de mir nen script gegeben hat.

es muss was selbstgemachtes sein, damit ich den leuten dazu was sagen kann. ich danke dir ECHT!!! vielmals, und seeehr für
die mühe die du dir hier für ne wildfremde person machst. aber leider ist das nicht das was ich suche.

Die "Mühe" war nur eine aneinanderreihung von ein paa befehlen, wie das unter Unix üblich ist und auch kein großes Hexenwerk. Außerdem wollte ich schon seit längerem mein Archiv an älteren feuerfüchsen auf den neuesten Stand bringen, da ich doch ab und zu mal ältzere versionen brauche, insbesondere aus der 3-er Serie, weil es immer noch Software gibt, die mit den aktuellen Füchsen nicht mehr läuft.

Wenn Du was eigenes brauchst:

  • Schau Dir oben die befehle an.

  • versuche sie zu verstehen.

  • Und wenn Du fragen hast, komm ins Forum zurück.

Im wesentlichen machen die befehle oben nichts ungewöhnliches:

  • lynx --dump gibt ein verzeichnis oder eine Datei auf die Standardausgabe aus.
  • grep filtert nach bestimmten Mustern (hier oft ftp://)
  • gawk verarbeitet die zeile (hier Ausgabe der zweiten Spalte)

Die Befehle steigen einfach die Ordnerhierarchie mehre Stufen herab, bis man an die gewünschten Daten kommt, die dann in der Datei stage3.exe.txt stehen.

Diese werden dann einfach mit wget geholt.

Mit deinem FTP-Ansatz wirst Du weiterhin nicht weit kommen, weil offensichtlich der FTP-serevr die wildcards nicht wie gewünscht verarbeitet.

lks


lks


Zum schluß gibt es eien date, in der alle Dateinamen drinstehen
Member: MittelzumZweck
MittelzumZweck Oct 15, 2012 at 14:07:45 (UTC)
Goto Top
vielen dank vorerst, ich muss das erst mal verarbeiten. falls was ich schreibe ich dir eine pn.

und danke nochmals.