Top-Themen

AppleEntwicklungHardwareInternetLinuxMicrosoftMultimediaNetzwerkeOff TopicSicherheitSonstige SystemeVirtualisierungWeiterbildungZusammenarbeit

Aktuelle Themen

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

Innerhalb einer Linux .Log Datei nach bestimmten Strings suchen und und Zeilen löschen

Frage Entwicklung Batch & Shell

Mitglied: sireiven

sireiven (Level 1) - Jetzt verbinden

06.08.2013 um 13:28 Uhr, 5504 Aufrufe, 10 Kommentare, 1 Danke

Hallo Zusammen

Ich möchte eine Log Datei nach bestimmten Strings durchsuchen und jede Zeile in der dieser bestimmte String vorkommt löschen.
Hierbei ist zu beachten das diese Log Datei aktiv ist, bzw. fortlaufend weitere Einträge geschrieben werden und die Log Datei selber ca. 830 MB gross ist.

Das heisst ich brauche hilfe für ein Skript das folgendes tut:
1. Liest Zeile für Zeile (nicht die ganze Log file auf einmal)
2. Falls der gesuchte String in der jeweiligen Zeile vorkommt, wird die komplette Zeile gelöscht.

Es soll während dem Suchen und Löschen gewährleistet sein, dass das Logfile weiterhin läuft, bzw. weiterhin Einträge reingeschrieben werden.

Gibt es eine Möglichkeit?


Danke für eure Unterstützung
Mitglied: Snowman25
06.08.2013, aktualisiert um 13:52 Uhr
so auf die Schnelle kommt mir nur sed als geeignetes Tool in den Sinn.
Wie du dann vorgehen musst, kann ich dir aber leider nicht erklären.
Bitte warten ..
Mitglied: sireiven
06.08.2013, aktualisiert um 14:19 Uhr
Hab mal den Befehl herausgesucht, dieser Befehl sucht nach bestimmten Strings und löscht die jeweilige Zeile in welcher der String vorkommt.
sed -i -e '/[String]/d' access.log

Jedoch stellen Sich mich einige Fragen dazu:
- Wenn ich den Befehl ausführe, können dann weitere Einträge in der Log geschrieben werden? Die Log ist eben Gross und Aktiv.
- öffnet er die ganze Datei oder Zeile für Zeile?
- Löscht er die Zeile so dass die gar nicht mehr existiert oder bleibt anstatt eine "Leere" Zeile, z.b
Zeile1
Zeile2
Zeile3

Zeile5
Zeile6

Experten sind gefragt ;)
Bitte warten ..
Mitglied: Endoro
06.08.2013 um 14:40 Uhr
Zitat von sireiven:
Experten sind gefragt ;)

Bin ich leider nicht.
Ich könnte mir aber vorstellen, den Output über tail -f an sed oder awk zu pipen.
lg.
Bitte warten ..
Mitglied: hausens
06.08.2013 um 15:20 Uhr
Hi

Log Dateien werden ja zum Fehler suchen verwendet.
Und wenn eine Logdatei schon 800 MB groß ist, kann ich mir schwer vorstellen das diese noch übersichtlich und damit hilfreich ist.
Für gewöhnlich ist es so - wenn ich mich nicht komplett irre - dass die .log Datei automatisch erstellt wird. Sprich du könntest einfach hergehen und die Logdatei einmal weg moven.
01.
mv Logdatei.log Logdatei.log_6.8.2013
Für gewöhnlich müsste dann der Service oder was auch immer das Logfile anfüllt wieder ein neues Logfile anlegen.
Ich hab für wichtige Logs (zB Login versuche, etc ...) Cronjobs definiert die mir jede Woche das aktuelle Logfile in ein Archive Verschieben.

Dies ist einfach übersichtlicher.

Wenn das bei dir möglich ist sollte das Löschen der Zeilen kein Problem mehr sein.
mit grep -v löscht du eine Gesamte Zeile in der das gesuchte Wort vorkommt

01.
grep -v "gesuchter text" Logdatei.log_6.8.2013 > Logdatei.log_6.8.2013_v2  
Hoffe ich konnte helfen.


fg

Hausens
Bitte warten ..
Mitglied: sireiven
06.08.2013 um 16:06 Uhr
Nein das Logfile kopieren oder neu erstellen kann ich nicht, da es an der aktiven vorgenommen werden muss.

Andere Frage:


Mit dem Befehl:
tail -f Datei.log | grep "[String]" kann ich live verfolgen was in das Logfile geschrieben wird.


Kann ich nun diese neuen Einträge abfangen, bzw. Zeilen mit bestimmten Einträgen im "Live Modus" Löschen?
Bitte warten ..
Mitglied: Endoro
06.08.2013, aktualisiert um 16:27 Uhr
Hi,
ich hab das jetzt mal nachgestellt
klappt wunderbar:

01.
tail -F share.log | sed '[REGEX]d' >> new.log
[REGEX] der Ausdruck, nach dem die zu löschenden Zeilen ausgewählt werden
d sed-Befehl zum Zeile löschen
>> Umleitung in neue Datei
lg.
Bitte warten ..
Mitglied: Snowman25
06.08.2013 um 16:26 Uhr
Hallo Sire,

sag mir mal, wie das Dateisystem-technisch denn ablaufen soll.
Ich sehe keine Möglichkeit, ein laufendes Log STÄNDIG von ungewünschten Einträgen zu bereinigen. Vorallem nicht, wenn dieses 800 MB groß ist.

Wir können dir besser helfen, wenn du uns sagst, was dir in dem Log nicht passt und welche Software dieses log erstellt (und wie)
Bitte warten ..
Mitglied: sireiven
06.08.2013 um 16:55 Uhr
Zitat von Endoro:
Hi,
ich hab das jetzt mal nachgestellt
klappt wunderbar:

01.
tail -F share.log | sed '[REGEX]d' >> new.log
[REGEX] der Ausdruck, nach dem die zu löschenden Zeilen ausgewählt werden
d sed-Befehl zum Zeile löschen
>> Umleitung in neue Datei
lg.

Sollte der String mit dem d nicht durch ein / getrennt werden -> tail -f datei.log | sed '/[String]/d' >> new.log
Was ist wenn ich die Umleitung nicht mache, bzw. das ">> new.log" weglasse? Werden die Zeilen dann einfach gelöscht?
Bitte warten ..
Mitglied: Endoro
06.08.2013 um 17:03 Uhr
An dem Original-Log wird nichts gelöscht, nur im Output (entweder auf dem Schirm oder umgeleitet im "new.log".
Die "wachsende" Logdatei kannst du nicht direkt verändern. Die wird ja schon verändert, deshalb wächst sie.

Wenn du mit sed alle Zeilen löschen willst, die mit # anfangen:
01.
tail -F share.log | sed '/^#/d'
lg.
Bitte warten ..
Mitglied: fnord2000
06.08.2013 um 22:27 Uhr
Gibt hier ja schon genug Lösungen mit sed für ein existierendes Logfile.

Aber ich muss mich hier der Frage von Snowman25 anschließen:
Was genau soll denn hier der Zweck sein, das bestimmte Einträge aussortiert werden sollen?

Wenn es nur darum gehen soll „unnötige” Einträge komplett aus den Logs rauszuhalten: Es gibt genügend logger mit eingebauten Filterfunktionen.
Bitte warten ..
Neuester Wissensbeitrag
Windows 10

Powershell 5 BSOD

(8)

Tipp von agowa338 zum Thema Windows 10 ...

Ähnliche Inhalte
Heiß diskutierte Inhalte
Microsoft
Ordner mit LW-Buchstaben versehen und benennen (21)

Frage von Xaero1982 zum Thema Microsoft ...

Netzwerkmanagement
gelöst Anregungen, kleiner Betrieb, IT-Umgebung (18)

Frage von Unwichtig zum Thema Netzwerkmanagement ...

Windows Update
Treiberinstallation durch Windows Update läßt sich nicht verhindern (17)

Frage von liquidbase zum Thema Windows Update ...