Top-Themen

Aktuelle Themen (A bis Z)

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

Duplikate löschen - funktioniert nicht...

Frage Entwicklung Batch & Shell

Mitglied: UHU-stic

UHU-stic (Level 1) - Jetzt verbinden

29.09.2014 um 04:24 Uhr, 774 Aufrufe, 3 Kommentare

Hallo Ihr Admins,

habe gemäß der Lösung von Biber vom 28.05.2009 um 08:29 Uhr :

http://www.administrator.de/frage/mit-batchdatei-aus-einer-txt-alle-dop ...

versucht Duplikate aus einer Textdatei zu löschen.

Diese funktioniert auch super, solange
- entweder keine Duplikate in meiner Textdatei sind oder
- mindestens eine Textzeile abweichend ist.

Sobald die Datei aber ausschließlich aus Duplikaten besteht, funktioniert es nicht...

Datei könnte also sein:
11111111
11111111
22222222
22222222
33333333
33333333

Und diese sieht nach dem Skript nach der Lösung von Biber immer noch genauso aus...
11111111
11111111
22222222
22222222
33333333
33333333

Nach meinem Verständnis müsste ich jedoch eine 0kB Datei (also eine leere Datei) bekommen

Kann mir da jemand auf die Sprünge helfen?

Gruß

UHU-stic

PS Die Lösung von LotPings 28.05.2009 um 11:01 Uhr habe ich nicht nachvollziehen können und diese somit aus meiner Bewertung ausgenommen
Mitglied: Lochkartenstanzer
29.09.2014, aktualisiert um 09:30 Uhr
Moin,

sort test.txt  | tee test.txt.sort | uniq >test.txt.uniq ; diff test.txt.uniq  test.txt.sort | grep ">" | gawk -F "> " ' { print $2 } '  | sort -u >test.txt.double ;  grep -v -f test.txt.double -F test.txt | tee result.txt
Die "Einzeiler"-Lösung, die man auch unter windows z.B. mit cygwin nutzen kann.

Und ja, das Ergebnis sollte aufgrund der Aufgabenstellung "leer" sein. Wenn es das nicht ist, Hat das Skript vermutlich einen Fehler, wi z.B. Spezialfall nicht abgefangen oder so (Ich habe mir jetzt das ale Skript nicht angeschaut).

lks

PS: Umformattiert zum Dreizeiler

sort test.txt  | tee test.txt.sort | uniq >test.txt.uniq 
diff test.txt.uniq  test.txt.sort | grep ">" | gawk -F "> " ' { print $2 } '  | sort -u >test.txt.double 
grep -v -f test.txt.double -F test.txt | tee result.txt
Bitte warten ..
Mitglied: UHU-stic
30.09.2014 um 05:34 Uhr
Moinsen lks,

danke erstmal für die schnelle Antwort - die mir jedoch nur bedingt hilft (trotz des Hinweises auf das cygwin Projekt; sehr interessant, muss ich mir die Tage mal genauer anschauen)...

Herausforderung für mich bzw. die von mir angestrebte Lösung ist jedoch eine einfache Windows-Batch-Datei (also eben auch kein VBS o.ä.).

Jemand einen Tipp der sich auf die bereits beschriebene Lösung
http://www.administrator.de/forum/mit-batchdatei-aus-einer-txt-alle-dop ...
bezieht?

Sicher ist da genau das von lks geschriebene "Spezialfall nicht abgefangen" der Fall...

Gruß

UHU-stic
Bitte warten ..
Mitglied: Lochkartenstanzer
30.09.2014 um 07:11 Uhr
So auf die Schnelle würde ich einfah eine Dummy-Zeile anfügen und hinterher wieder löschen., damit der Sonderfall umgangen wird.

Lks
Bitte warten ..
Ähnliche Inhalte
Windows 7
Ordnerstrukturen vergleichen und Duplikate löschen
gelöst Frage von SarekHLWindows 71 Kommentar

Hallo zusammen, kennt jemand ein Programm, um zwei Ordnerstrukturen zu vergleichen und aus einer der beiden alle nach Name, ...

Batch & Shell
Batch datei zum duplikate löschen
gelöst Frage von M4xx-oneBatch & Shell5 Kommentare

Hallo Gemeinde ich hab ein problem ich möchte mittels batchdatei eine TXT datei aufräumen die datei hat folgende eintäge ...

Microsoft Office
Excel 2013 Duplikate löschen und Startzeile ermitteln VBA
gelöst Frage von AlexIOTMicrosoft Office5 Kommentare

Servus miteinander, ich bräuchte einen VBA Code der in 7 verschiedenen Spalten die Duplikate rauslöscht aber nicht Leere Zeilen ...

Batch & Shell
Batch Datei um Dateinamen auf Duplikat mit anderer Dateiendung zu prüfen und falls nicht die Datei zu löschen
gelöst Frage von PCdummyBatch & Shell2 Kommentare

Hallo liebe Profis, wenn ich mal fotografieren gehe habe ich immer .CR2 Dateien und .jpg Dateien. Nun gehe ich ...

Neue Wissensbeiträge
Apple

IOS 11.2.1 stopft HomeKit-Remote-Lücke

Tipp von BassFishFox vor 1 TagApple

Das Update für iPhone, iPad und Apple TV soll die Fernsteuerung von Smart-Home-Geräten wieder in vollem Umfang ermöglichen. Apple ...

Windows 10

Windows 10 v1709 EN murkst bei den Regionseinstellungen

Tipp von DerWoWusste vor 1 TagWindows 10

Dieser kurze Tipp richtet sich an den kleinen Personenkreis, der Win10 v1709 EN-US frisch installiert und dabei die englische ...

Webbrowser

Kein Ton bei Firefox Quantum über RDP

Tipp von Moddry vor 1 TagWebbrowser

Hallo Kollegen! Hatte das Problem, dass der neue Firefox bei mir auf der Kiste keinen Ton hat, wenn ich ...

Internet

EU-DSGVO: WHOIS soll weniger Informationen liefern

Information von sabines vor 1 TagInternet4 Kommentare

Wegen der europäische Datenschutzgrundverordnung stehen die Prozesse um die Registrierung von Domains auf dem Prüfstand. Sollte die Forderungen umgesetzt ...

Heiß diskutierte Inhalte
Windows Server
RODC kann nicht aus Domäne entfernt werden
Frage von NilsvLehnWindows Server18 Kommentare

HAllo, ich arbeite in einem Universitätsnetzwerk mit 3 Standorten. Die Standorte haben alle ein ESXi Cluster und auf diesen ...

Hardware
Kein Bild mit nur einer bestimmten Grafikkarten - Mainboard Konfiguration
gelöst Frage von bestelittHardware18 Kommentare

Hallo zusammen, ich hatte schon einmal eine ähnliche Frage gestellt. Damals hatte ich genau das gleiche Problem. Allerdings lies ...

Netzwerkmanagement
Mehrere Netzwerkadapter in einem PC zu einem Switch zusammenfügen
Frage von prodriveNetzwerkmanagement16 Kommentare

Hallo zusammen Vorweg, ich konnte schon einige IT-Probleme mit Hilfe dieses Forums lösen. Wirklich klasse hier! Doch für das ...

Hardware
Links klick bei Maus funktioniert nicht
gelöst Frage von Pablu23Hardware16 Kommentare

Hallo erstmal. Ich habe ein Problem mit meiner relativ alten maus jedoch denke ich nicht das es an der ...