Top-Themen

Aktuelle Themen (A bis Z)

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

Innerhalb einer Linux .Log Datei nach bestimmten Strings suchen und und Zeilen löschen

Frage Entwicklung Batch & Shell

Mitglied: sireiven

sireiven (Level 1) - Jetzt verbinden

06.08.2013 um 13:28 Uhr, 6098 Aufrufe, 10 Kommentare, 1 Danke

Hallo Zusammen

Ich möchte eine Log Datei nach bestimmten Strings durchsuchen und jede Zeile in der dieser bestimmte String vorkommt löschen.
Hierbei ist zu beachten das diese Log Datei aktiv ist, bzw. fortlaufend weitere Einträge geschrieben werden und die Log Datei selber ca. 830 MB gross ist.

Das heisst ich brauche hilfe für ein Skript das folgendes tut:
1. Liest Zeile für Zeile (nicht die ganze Log file auf einmal)
2. Falls der gesuchte String in der jeweiligen Zeile vorkommt, wird die komplette Zeile gelöscht.

Es soll während dem Suchen und Löschen gewährleistet sein, dass das Logfile weiterhin läuft, bzw. weiterhin Einträge reingeschrieben werden.

Gibt es eine Möglichkeit?


Danke für eure Unterstützung
Mitglied: Snowman25
06.08.2013, aktualisiert um 13:52 Uhr
so auf die Schnelle kommt mir nur sed als geeignetes Tool in den Sinn.
Wie du dann vorgehen musst, kann ich dir aber leider nicht erklären.
Bitte warten ..
Mitglied: sireiven
06.08.2013, aktualisiert um 14:19 Uhr
Hab mal den Befehl herausgesucht, dieser Befehl sucht nach bestimmten Strings und löscht die jeweilige Zeile in welcher der String vorkommt.
sed -i -e '/[String]/d' access.log

Jedoch stellen Sich mich einige Fragen dazu:
- Wenn ich den Befehl ausführe, können dann weitere Einträge in der Log geschrieben werden? Die Log ist eben Gross und Aktiv.
- öffnet er die ganze Datei oder Zeile für Zeile?
- Löscht er die Zeile so dass die gar nicht mehr existiert oder bleibt anstatt eine "Leere" Zeile, z.b
Zeile1
Zeile2
Zeile3

Zeile5
Zeile6

Experten sind gefragt ;)
Bitte warten ..
Mitglied: Endoro
06.08.2013 um 14:40 Uhr
Zitat von sireiven:
Experten sind gefragt ;)

Bin ich leider nicht.
Ich könnte mir aber vorstellen, den Output über tail -f an sed oder awk zu pipen.
lg.
Bitte warten ..
Mitglied: hausens
06.08.2013 um 15:20 Uhr
Hi

Log Dateien werden ja zum Fehler suchen verwendet.
Und wenn eine Logdatei schon 800 MB groß ist, kann ich mir schwer vorstellen das diese noch übersichtlich und damit hilfreich ist.
Für gewöhnlich ist es so - wenn ich mich nicht komplett irre - dass die .log Datei automatisch erstellt wird. Sprich du könntest einfach hergehen und die Logdatei einmal weg moven.
01.
mv Logdatei.log Logdatei.log_6.8.2013
Für gewöhnlich müsste dann der Service oder was auch immer das Logfile anfüllt wieder ein neues Logfile anlegen.
Ich hab für wichtige Logs (zB Login versuche, etc ...) Cronjobs definiert die mir jede Woche das aktuelle Logfile in ein Archive Verschieben.

Dies ist einfach übersichtlicher.

Wenn das bei dir möglich ist sollte das Löschen der Zeilen kein Problem mehr sein.
mit grep -v löscht du eine Gesamte Zeile in der das gesuchte Wort vorkommt

01.
grep -v "gesuchter text" Logdatei.log_6.8.2013 > Logdatei.log_6.8.2013_v2  
Hoffe ich konnte helfen.


fg

Hausens
Bitte warten ..
Mitglied: sireiven
06.08.2013 um 16:06 Uhr
Nein das Logfile kopieren oder neu erstellen kann ich nicht, da es an der aktiven vorgenommen werden muss.

Andere Frage:


Mit dem Befehl:
tail -f Datei.log | grep "[String]" kann ich live verfolgen was in das Logfile geschrieben wird.


Kann ich nun diese neuen Einträge abfangen, bzw. Zeilen mit bestimmten Einträgen im "Live Modus" Löschen?
Bitte warten ..
Mitglied: Endoro
06.08.2013, aktualisiert um 16:27 Uhr
Hi,
ich hab das jetzt mal nachgestellt
klappt wunderbar:

01.
tail -F share.log | sed '[REGEX]d' >> new.log
[REGEX] der Ausdruck, nach dem die zu löschenden Zeilen ausgewählt werden
d sed-Befehl zum Zeile löschen
>> Umleitung in neue Datei
lg.
Bitte warten ..
Mitglied: Snowman25
06.08.2013 um 16:26 Uhr
Hallo Sire,

sag mir mal, wie das Dateisystem-technisch denn ablaufen soll.
Ich sehe keine Möglichkeit, ein laufendes Log STÄNDIG von ungewünschten Einträgen zu bereinigen. Vorallem nicht, wenn dieses 800 MB groß ist.

Wir können dir besser helfen, wenn du uns sagst, was dir in dem Log nicht passt und welche Software dieses log erstellt (und wie)
Bitte warten ..
Mitglied: sireiven
06.08.2013 um 16:55 Uhr
Zitat von Endoro:
Hi,
ich hab das jetzt mal nachgestellt
klappt wunderbar:

01.
tail -F share.log | sed '[REGEX]d' >> new.log
[REGEX] der Ausdruck, nach dem die zu löschenden Zeilen ausgewählt werden
d sed-Befehl zum Zeile löschen
>> Umleitung in neue Datei
lg.

Sollte der String mit dem d nicht durch ein / getrennt werden -> tail -f datei.log | sed '/[String]/d' >> new.log
Was ist wenn ich die Umleitung nicht mache, bzw. das ">> new.log" weglasse? Werden die Zeilen dann einfach gelöscht?
Bitte warten ..
Mitglied: Endoro
06.08.2013 um 17:03 Uhr
An dem Original-Log wird nichts gelöscht, nur im Output (entweder auf dem Schirm oder umgeleitet im "new.log".
Die "wachsende" Logdatei kannst du nicht direkt verändern. Die wird ja schon verändert, deshalb wächst sie.

Wenn du mit sed alle Zeilen löschen willst, die mit # anfangen:
01.
tail -F share.log | sed '/^#/d'
lg.
Bitte warten ..
Mitglied: fnord2000
06.08.2013 um 22:27 Uhr
Gibt hier ja schon genug Lösungen mit sed für ein existierendes Logfile.

Aber ich muss mich hier der Frage von Snowman25 anschließen:
Was genau soll denn hier der Zweck sein, das bestimmte Einträge aussortiert werden sollen?

Wenn es nur darum gehen soll „unnötige” Einträge komplett aus den Logs rauszuhalten: Es gibt genügend logger mit eingebauten Filterfunktionen.
Bitte warten ..
Ähnliche Inhalte
Batch & Shell
Batch: bestimmten string aus einer Zeile in txt löschen
Frage von Vit1985Batch & Shell4 Kommentare

Hallo, ich habe eine Textdatei und dort möchte ich einen bestimmten string löschen! Beispielzeile: Command: Hallo, wie Ich möchte ...

Batch & Shell
Bestimmte Zeilen einer Datei addieren - Linux
gelöst Frage von lapvikaBatch & Shell2 Kommentare

Hallo zusammen, ich habe eine Datei die wie folgt aussieht: 536870912 - System1_2 536870912 - System1_3 536870912 - System1_4 ...

Batch & Shell
Powershell In Textdatei Nach bestimmter Zeichenfolgen in String suchen und diese Strings dann löschen
gelöst Frage von PinkFLuffyUnicornBatch & Shell5 Kommentare

Hi, ich habe folgendes Vorhaben: Ich muss die Logdateien von dem Minecraftserver eines Freundes Nach bestimmten Zeichenfolgen in den ...

Batch & Shell
Bestimmte Zeilen einer Datei addieren und ausgeben - Linux
gelöst Frage von lapvikaBatch & Shell2 Kommentare

Hallo zusammen, ich habe eine Datei die wie folgt aussieht: 2147483648 - System1_lun01 2147483648 - System1_lun02 2147483648 - System1_lun03 ...

Neue Wissensbeiträge
Internet

USA: Die FCC schaff die Netzneutralität ab

Information von Frank vor 8 StundenInternet2 Kommentare

Jetzt beschädigt US-Präsident Donald Trump auch noch das Internet. Der neu eingesetzte FCC-Chef Ajit Pai ist bekannter Gegner einer ...

DSL, VDSL

ALL-BM200VDSL2V - Neues VDSL-Modem mit Vectoring von Allnet

Information von Lochkartenstanzer vor 12 StundenDSL, VDSL1 Kommentar

Moin, Falls jemand eine Alternative zu dem draytek sucht: Gruß lks

Windows 10

Microsoft bestätigt DMA-Policy-Problem in Win10 v1709

Information von DerWoWusste vor 12 StundenWindows 10

Wer sein Gerät mit der DMA-Policy absichert, bekommt evtl. Hardwareprobleme in v1709 von Win10. Warum? Weil v1709 endlich "richtig" ...

Verschlüsselung & Zertifikate

Die Hölle friert ein weiteres Stück zu: Microsoft integriert OpenSSH in Windows

Information von ticuta1 vor 15 StundenVerschlüsselung & Zertifikate

Interessant Die Hölle friert ein weiteres Stück zu: Microsoft integriert OpenSSH in Windows SSH-Kommando in CMD.exe und PowerShell

Heiß diskutierte Inhalte
Netzwerkmanagement
Mehrere Netzwerkadapter in einem PC zu einem Switch zusammenfügen
Frage von prodriveNetzwerkmanagement21 Kommentare

Hallo zusammen Vorweg, ich konnte schon einige IT-Probleme mit Hilfe dieses Forums lösen. Wirklich klasse hier! Doch für das ...

Hardware
Links klick bei Maus funktioniert nicht
gelöst Frage von Pablu23Hardware16 Kommentare

Hallo erstmal. Ich habe ein Problem mit meiner relativ alten maus jedoch denke ich nicht das es an der ...

Windows Server
Anmeldung direkt am DC nicht möglich
Frage von ThomasGrWindows Server15 Kommentare

Hallo, ich habe bei unserem Server 2016 Standard ein Problem. Keine Ahnung wie das auf einmal passiert ist. Ich ...

TK-Netze & Geräte
VPN-fähige IP-Telefone
Frage von the-buccaneerTK-Netze & Geräte14 Kommentare

Hi! Weiss noch jemand ein VPN-fähiges IP-Telefon mit dem man z.B. einen Heimarbeitsplatz gesichert anbinden könnte? Habe nur einen ...