Top-Themen

Aktuelle Themen (A bis Z)

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

Frage Entwicklung

Daten von txt-Dateien zusammenführen und in Ordnerstruktur speichern auf Raspberry Pi mittels Bash oder Python

Mitglied: Sven289

Sven289 (Level 1) - Jetzt verbinden

11.11.2014 um 08:45 Uhr, 2355 Aufrufe, 10 Kommentare

Hallo,

ich bin auf der Suche nach einem Script, dass mehrere .txt-Dateien zusammenführt und diese in einer neuen Datei speichert.

Die Daten stammen von meiner Wetterstation und werden jede Stunde in Form einer txt-Datei gespeichert.
Die Dateien sehen so aus:
weatherdatalog2014-10-28-17-01-02.txt
weatherdatalog2014-10-28-18-01-02.txt
weatherdatalog2014-10-28-19-01-02.txt
weatherdatalog2014-10-28-20-01-02.txt
usw....(24 Stück pro Tag)

Der Inhalt einer txt-Datei enthält u.a. die Temperaturen jeder Minute in Zeitraum von einer Stunde. Eine txt-Datei sieht z.B. so aus:
10.2;2014.10.28;17:01:02
11.7;2014.10.28;17:02:02
10.6;2014.10.28;17:03:02
usw..(60 Werte)


Das Script soll den Inhalt von txt-Dateien eines Tages zusammenführen (im obrigen Beispiel Tag 28) und in einer neuen txt-Datei speichern.

Die Datei, die die zusammengeführten Daten eines Tages enthält, sollte heißen:
2014-10-28.txt
Diese Dateien eines Monats sollen in einer Ordnerstruktur abgelegt werden, etwa /2014/10/ (Jahr und Monat).

Die Uhrzeit wird nicht verwendet. Alle Dateien befinden sich in einem Ordner.
Das Script soll im Hintergrund laufen und laufend überprüfen, ob neue Daten von der Wetterstation auf der Orderfreigabe abgelegt wurden und diese dann wie oben beschrieben behandeln.

Ein Script habe ich dazu als Batchdatei zum manuellen Ausführen unter Windows vorliegen (Dank @bastla). Leider reichen meine Kenntnisse in Bash oder Python nicht aus, um ein derartiges Script zu schreiben.

Ich hoffe, dass Sie/Ihr mir weiterhelfen können/könnt! Über jeden Ratschlag würde ich mich freuen!

Ich bedanke mich schon mal!
Mitglied: colinardo
11.11.2014, aktualisiert um 10:16 Uhr
Hallo Sven289,
das könnte nach deinen Angaben so aussehen:

In Zeile 2 gibst du den Ordner an in dem die LOG-Files liegen; den Ordner in dem die Ordnerstruktur angelegt werden soll gibst du in Zeile 3 und den Ordner in den die "verarbeiteten" *.txt-Dateien verschoben werden sollen nachdem Ihr Inhalt in die Ordnerstruktur übertragen wurde, in Zeile 4.

Das Script kannst du dann als Cronjob z.B. regelmäßig ausführen lassen.
01.
#!/bin/bash 
02.
folder_log="/data/log" 
03.
folder_ablage="/data/weather" 
04.
folder_backup="/data/log/backup" 
05.
 
06.
# Dateien auflisten 
07.
files=$(ls $folder_log/weatherdatalog*.txt -1 2>/dev/null) 
08.
 
09.
# Backupordner erstellen falls noch nicht existiert 
10.
if [[ ! -d "$folder_backup" ]];then mkdir -p "$folder_backup";fi 
11.
 
12.
for file in $files ; do  
13.
        # Dateiname zerlegen 
14.
        file_date=$(echo "$file" | grep -Eo '[0-9]{4}-[0-9]{1,2}-[0-9]{1,2}') 
15.
        year=$(echo $file_date | cut -d '-' -f 1) 
16.
        month=$(echo $file_date | cut -d '-' -f 2) 
17.
        target_folder="$folder_ablage/$year/$month" 
18.
 
19.
        # Ziel-Ordner erstellen wenn noch nicht vorhanden  
20.
        if [[ ! -d "$target_folder" ]];then mkdir -p "$target_folder";fi 
21.
 
22.
        # Inhalt der Datei in Tagesdatei übertragen 
23.
        cat $file>>"$target_folder/$file_date.txt" 
24.
 
25.
        # Ausgelesene Datei ins Backup befördern  
26.
        mv "$file" "$folder_backup/" 
27.
done 
Grüße Uwe
Bitte warten ..
Mitglied: Gersen
11.11.2014, aktualisiert um 10:45 Uhr
Hallo Uwe,

super Skript. Aber zwei Anmerkungen:

1. Sollten in den Zeilen 23/26 nicht statt "$file" "${folder_log}/${file}" stehen?
2. Für einen Ablauf als Cronjob - müsste da nicht eine PATH-Variable definiert werden bzw. absolute Pfade für die Befehle verwendet werden?

Gruß,
Gersen
Bitte warten ..
Mitglied: colinardo
11.11.2014, aktualisiert um 11:08 Uhr
Hi Gersen,
Zitat von Gersen:
1. Sollten in den Zeilen 23/27 nicht statt "$file" "${folder_log}/${file}" stehen?
nein, in $file steht schon der komplette Pfad
2. Für einen Ablauf als Cronjob - müsste da nicht eine PATH-Variable definiert werden bzw. absolute Pfade für die
Befehle verwendet werden?
kann man noch ergänzen ... die Pfade auf dem raspi kenne ich jetzt aber gerade nicht. Es werden aber eigentlich keine "seltenen" Befehle verwendet so dass diese aus einem cron auch so laufen sollten ... das tun sie hier zumindest auf einem Ubuntu.

Grüße Uwe
Bitte warten ..
Mitglied: Sven289
11.11.2014 um 13:51 Uhr
Hallo Uwe,

vielen Dank für deine schnelle Antwort. Ich hatte leider noch keine Gelgegenheit das Script auf einem Raspberry zu testen. Auf einem Ubuntu-PC läuft es jedoch perfekt.

Falls es nicht zu aufwendig ist, wäre es gut, wenn noch eine zusätzliche Funktion in das bestehende Script implementiert werden könnte.
Die Daten in den txt-Dateien sind ja wie folgt aufgebaut:
Je Zeile folgender Datensatz: 2014.11.11;13:00:02;12.3;15.1;0.652 (Datum;Uhrzeit;Messwert1;Messwert2;Messwert3)(getrennt durch Semikolon)
In jeder txt-Datei befinden sich 60 Werte.

Damit ich die Daten besser verarbeiten kann, wären Mittelwerte eine große Hilfe. Das heißt, das immer von 10 Datensätzen ein Mittelwert (von den drei Messerten) gebildet wird.
Die fertigen Daten könnten dann wie folgt aussehen:
2014.11.11;13:00:02;12.0;15.2;0.657
2014.11.11;13:10:02;12.1;15.4;0.656
2014.11.11;13:20:02;12.0;15.3;0.659

Es soll somit zusätzlich zu der bereits bestehenden eine weitere Ordnerstruktur aufgebaut werden, nur eben mit den Mittelwerten. Diese Strukur ist gleich aufgebaut und eine Datei hat auch z. B. wieder den Namen 2014-10-28.txt.

Wenn man das hingekommen könnte, wäre es echt großartig!

Für eine Antwort schon einmal vielen Dank!!
Bitte warten ..
Mitglied: colinardo
11.11.2014, aktualisiert 12.11.2014
Zitat von Sven289:
Falls es nicht zu aufwendig ist, wäre es gut, wenn noch eine zusätzliche Funktion in das bestehende Script implementiert
werden könnte.
Die Daten in den txt-Dateien sind ja wie folgt aufgebaut:
Je Zeile folgender Datensatz: 2014.11.11;13:00:02;12.3;15.1;0.652 (Datum;Uhrzeit;Messwert1;Messwert2;Messwert3)(getrennt durch
Semikolon)
In jeder txt-Datei befinden sich 60 Werte.
aha, oben sahen die noch ganz anders aus
Damit ich die Daten besser verarbeiten kann, wären Mittelwerte eine große Hilfe. Das heißt, das immer von 10
Datensätzen ein Mittelwert (von den drei Messerten) gebildet wird.
Die fertigen Daten könnten dann wie folgt aussehen:
2014.11.11;13:00:02;12.0;15.2;0.657
2014.11.11;13:10:02;12.1;15.4;0.656
2014.11.11;13:20:02;12.0;15.3;0.659

Es soll somit zusätzlich zu der bereits bestehenden eine weitere Ordnerstruktur aufgebaut werden, nur eben mit den
Mittelwerten. Diese Strukur ist gleich aufgebaut und eine Datei hat auch z. B. wieder den Namen 2014-10-28.txt.

Wenn man das hingekommen könnte, wäre es echt großartig!
Das ist machbar, habe noch eine weitere Ordner-Variable für die zweite Mittelwert-Struktur hinzugefügt:
(Hinweis: benötigt zusätzlich awk auf dem Raspi)
01.
#!/bin/bash 
02.
folder_log="/data/log" 
03.
folder_ablage="/data/weather" 
04.
folder_ablage_mittelwerte="/data/weather_average" 
05.
folder_backup="/data/log/backup" 
06.
 
07.
# Dateien auflisten 
08.
files=$(ls $folder_log/weatherdatalog*.txt -1 2>/dev/null) 
09.
 
10.
# Backupordner erstellen falls noch nicht existiert 
11.
if [[ ! -d "$folder_backup" ]];then mkdir -p "$folder_backup";fi 
12.
 
13.
for file in $files ; do 
14.
	# Dateiname zerlegen 
15.
	file_date=$(echo "$file" | grep -Eo '[0-9]{4}-[0-9]{1,2}-[0-9]{1,2}') 
16.
	year=$(echo $file_date | cut -d '-' -f 1) 
17.
	month=$(echo $file_date | cut -d '-' -f 2) 
18.
	target_folder="$folder_ablage/$year/$month" 
19.
	target_folder_mittelwerte="$folder_ablage_mittelwerte/$year/$month" 
20.
 
21.
 
22.
	# Ordner erstellen wenn noch nicht vorhanden 
23.
	if [[ ! -d "$target_folder" ]];then mkdir -p "$target_folder";fi 
24.
	if [[ ! -d "$target_folder_mittelwerte" ]];then mkdir -p "$target_folder_mittelwerte";fi 
25.
 
26.
	# Inhalt der Datei in Tagesdatei übertragen 
27.
	cat $file>>"$target_folder/$file_date.txt" 
28.
 
29.
	# Mittelwerte auslesen und in zweite Struktur schreiben 
30.
	cat "$file" | awk -F ';' '{if(count < 10){sum1 +=$3;sum2 +=$4;sum3 +=$5;if(count == 0){tm=$1";"$2};count++}else{print tm";"sum1/10";"sum2/10";"sum3/10;sum1=$3;sum2=$4;sum3=$5;count=1;tm=$1";"$2}} END {print tm";"sum1/10";"sum2/10";"sum3/10}'>>"$target_folder_mittelwerte/$file_date.txt" 
31.
 
32.
	# Ausgelesene Datei ins Backup befördern 
33.
	mv "$file" "$folder_backup/" 
34.
done
Viel Erfolg.
Grüße Uwe
Bitte warten ..
Mitglied: Sven289
12.11.2014 um 07:47 Uhr
Hallo Uwe,

ich habe Dein Script nun nocheinmal auf meinem Ubuntu-System ausprobiert. Leider klappt die Mittelwertbildung nicht richtig.
In einer Ausgangsdatei steht z.B.:
01.
10.11.14;16:00:00;143;0.108;10.1 
02.
10.11.14;16:01:00;133;0.097;10.1 
03.
10.11.14;16:02:00;151;0.116;10.1 
04.
10.11.14;16:03:00;138;0.103;10.1 
05.
10.11.14;16:04:00;139;0.104;10.1 
06.
10.11.14;16:05:00;139;0.104;10.1 
07.
10.11.14;16:06:00;148;0.113;10.1 
08.
10.11.14;16:07:00;132;0.096;10.1 
09.
10.11.14;16:08:00;143;0.108;10.1 
10.
10.11.14;16:09:00;130;0.094;10.1 
11.
10.11.14;16:10:00;130;0.094;10.1 
12.
10.11.14;16:11:00;152;0.117;10.1 
13.
10.11.14;16:12:00;125;0.089;10.1 
14.
10.11.14;16:13:00;159;0.125;10.1 
15.
10.11.14;16:14:00;115;0.078;10.1 
16.
10.11.14;16:15:00;123;0.087;10.0 
17.
10.11.14;16:16:00;123;0.087;10.1 
18.
10.11.14;16:17:00;140;0.105;10.0 
19.
10.11.14;16:18:00;131;0.095;10.0 
20.
10.11.14;16:19:00;153;0.118;10.0
(gekürzt)

In der Datei, wo die Mittelwerte stehen sollen, wird folgendes hineingeschrieben:
01.
10.11.14;16:00:00;139.6;0.1143;10.1 
02.
10.11.14;16:11:00;149.4;0.1103;11.06
Eigentlich sollte dort für diese Werte stehen:
01.
10.11.14;16:00:00;125.7;0.1043;10.1 
02.
10.11.14;16:10:00;135.1;0.0995;10.06
(mit Taschenrechner nachgerechnet)

Die Uhrzeit ist stets eine Minute weiter, als sie sein sollte. Aus dem gleichen Grund stimmen die Durchschnittswerte wohl auch nicht.
Es wäre gut, wenn du noch einmal über das Script schauen könntest. Vielen Dank!
Bitte warten ..
Mitglied: colinardo
12.11.2014, aktualisiert um 09:52 Uhr
Zitat von Sven289:
Eigentlich sollte dort für diese Werte stehen:
10.11.14;16:00:00;125.7;0.1043;10.1
10.11.14;16:10:00;135.1;0.0995;10.06
(mit Taschenrechner nachgerechnet)
Dann hat dein Taschenrechner aber auch noch nicht seinen Kaffee bekommen 125.7 stimmt laut deinen Werten nicht hier bekomme ich 139.6 raus.

Die Uhrzeit ist stets eine Minute weiter, als sie sein sollte. Aus dem gleichen Grund stimmen die Durchschnittswerte wohl auch
nicht.
Der Fehler war Absicht, du solltest ja auch was von dem Script lernen und selber probieren und nicht nur Copy n' pasten.
Ist oben nun korrigiert.
Bitte warten ..
Mitglied: Sven289
12.11.2014 um 10:42 Uhr
Ich dachte mir schon, dass das etwas absichtlich manipuliert wurde Leider habe ich das Problem nicht selbstständig lösen können, meine Versuche habe es nicht gerade besser gemacht . Deshalb ein großes Dankeschön dafür!
Ich hätte noch eine Frage zu dem neuen Script: In dem Teil, wo die Mittelwerte erstellt werden, stand in der ersten Version noch ein BEGIN ziemlich am Anfang. In deiner neuen Version fehlt dieses. Ist das so in Bash machbar? Denn ein END steht ja weiterhin am Ende.
Bitte warten ..
Mitglied: colinardo
12.11.2014, aktualisiert um 11:05 Uhr
Zitat von Sven289:
stand in der ersten Version noch ein BEGIN ziemlich am Anfang. In deiner neuen Version fehlt dieses. Ist das so in Bash machbar? Denn ein END steht ja weiterhin am Ende.
Das ist nicht mehr nötig, die AWK-Abschnitte sind optional und kein muss, hatte den zu Beginn zur Initialisierung einer Variablen benutzt, das brauchts jetzt nicht mehr.
http://www.gnu.org/software/gawk/manual/gawk.html#BEGIN_002fEND
Bitte warten ..
Mitglied: Gersen
14.11.2014 um 12:35 Uhr
Zitat von colinardo:

nein, in $file steht schon der komplette Pfad
Ah, merci - wieder was gelernt...
Bitte warten ..
Ähnliche Inhalte
Batch & Shell
Bash: zwei Dateien zusammenführen
gelöst Frage von xpeeenBatch & Shell4 Kommentare

Hallo zusammen. ich habe unter Linux zwei Dateien erzeugt. Ich frage per SNMP einen Switch ab und möchte zu ...

Debian
Raspberry Pi VPN Router
Frage von muxtuxDebian3 Kommentare

Hallo ich habe einen Raspberry Pi hinter meiner Fritz Box als VPN Gateway. Das ganze funktioniert ohne Probleme. Das ...

Linux Tools
Webradio mit Webinterface mit Raspberry Pi
Anleitung von ketanest112Linux Tools5 Kommentare

Hallöchen zusammen, ich saß heute mal wieder in meiner Bastelwerkstatt und möchte euch mein Projekt nicht vorenthalten. Gleichmal vorwer, ...

Debian
OBDII auf Raspberry PI
Frage von killtecDebian5 Kommentare

Hallo zusammen, ich suche ein gutes Programm um mit OBDII Fehler und auch Live-Diagnose auszulesen. Das ganze sollte idealerweise ...

Neue Wissensbeiträge
Tipps & Tricks

Solutio Charly Updater Fehlermeldung: Das Abgleichen der Dateien in -Pfad- mit dem Datenobject ist fehlgeschlagen

Tipp von StefanKittel vor 11 StundenTipps & Tricks

Hallo, hier einmal als Tipp für alle unter Euch die mit der Zahnarztabrechnungssoftware Charly von Solutio zu tun haben. ...

Sicherheit

Meltdown und Spectre: Wir brauchen eine "Abwrackprämie", die die CPU-Hersteller bezahlen

Information von Frank vor 11 StundenSicherheit7 Kommentare

Zum aktuellen Thema Meltdown und Spectre: Ich wünsche mir von den CPU-Herstellern wie Intel, AMD oder ARM eine Art ...

Sicherheit

Meltdown und Spectre: Realitätscheck

Information von Frank vor 12 StundenSicherheit8 Kommentare

Die unangenehme Realität Der Prozessorfehler mit seinen Varianten Meltdown und Spectre ist seit Juni 2017 bekannt. Trotzdem sind immer ...

Sicherheit

Meltdown und Spectre: Die machen uns alle was vor

Information von Frank vor 12 StundenSicherheit12 Kommentare

Aktuell sieht es in den Medien so aus, als hätten die Hersteller wie Intel, Microsoft und Co den aktuellen ...

Heiß diskutierte Inhalte
Windows 10
Netbook erkennt Soundkarte nicht - keinerlei Info zum Hersteller und Modell vom Netbook und Hardware bekannt
Frage von 92943Windows 1031 Kommentare

Guten Tag, meine Schwester reist in einigen Wochen für ein paar Monate ins Ausland und hat sich dafür ein ...

Batch & Shell
Anmeldevorgang für Informatikraum (Schule) unter Windows
gelöst Frage von IngenieursBatch & Shell29 Kommentare

Hey zusammen, ich werde in naher Zukunft den Informatik Raum meiner jetzigen Schule von dem aktuellen Betreiber übernehmen (Vertrag ...

Netzwerkgrundlagen
Welches Modem für VDSL 50000 der T-Com
Frage von Windows10GegnerNetzwerkgrundlagen20 Kommentare

Hallo, ein Kollege von mir will sich VDSL50000 von der T-Com holen, um daran einen Server zu betreiben. Ich ...

Batch & Shell
AD-Abfrage in Batchdatei und Ergebnis als Variable verarbeiten
gelöst Frage von Winfried-HHBatch & Shell19 Kommentare

Hallo in die Runde! Ich habe eine Ergänzungsfrage zu einem alten Thread von mir. Ausgangslage ist die Batchdatei, die ...