Top-Themen

AppleEntwicklungHardwareInternetLinuxMicrosoftMultimediaNetzwerkeOff TopicSicherheitSonstige SystemeVirtualisierungWeiterbildungZusammenarbeit

Aktuelle Themen (A bis Z)

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

Text von festen Positionen auslesen und in 2te Datei schreiben

Frage Entwicklung Batch & Shell

Mitglied: Andynix

Andynix (Level 1) - Jetzt verbinden

29.09.2009, aktualisiert 15:28 Uhr, 3341 Aufrufe, 9 Kommentare

Hallo zusammen,
ich brauche etwas mehr Hilfe um ein kleines Problem zu lösen.

Ich bekomme Textdateien die an bestimmten Positionen die benötigten Infos beinhalten.
Es sind immer feste Positionen und feste Anzahl Zeichen.
Daraus wird ein SQL Script generiert der dann in die Datenbank gepumpt wird.
Bis jetzt werden die Dateien händisch auf ein AutoitScript geschmissen der dann das SQL Script generiert.

SQL Script sieht so aus
INSERT INTO [SchnittstelleLog].[dbo].[Auswertung] ([Aktionszeit], [Versendungsart]) VALUES('20090915144539', 'P');
INSERT INTO [SchnittstelleLog].[dbo].[Auswertung] ([Aktionszeit], [Versendungsart]) VALUES('20090915143523', 'P');

Die Textfiles sehen ungefähr so aus. (am ende Rauten #, aber sonst keine Sonderzeichen, nur ab und zu Leerzeichen)
ASDF000123213213 0025487878987

Benötigte Zeichenketten:
$Aktionszeit = 14, 4
$Versendungsart = 20, 1
$IDP = 42, 8
$IDS = 25, 6

Meine Ansatz sieht so aus...
01.
@echo off & setlocal & enableDelayedExpansion  
02.
Datei=C:\Import\*.txt 
03.
 
04.
for /f "usebackq delims=" %%i in ("%Datei%") do call :ProcessLine "%%i" 
05.
goto :eof 
06.
:ProcessLine 
07.
set "Zeile=%~1" 
08.
 
09.
::ab 14 Zeichen 4 Buchstaben ausgeben 
10.
(echo %Zeile:~14,4%)>>"script.sql" 
11.
 
12.
goto :eof
Muss ich für jede Zeichenkette eigene :ProcessLine erstellen ? ABER wie ?
Mitglied: bastla
29.09.2009 um 20:00 Uhr
Hallo Andynix!
Muss ich für jede Zeichenkette eigene :ProcessLine erstellen ?
Mitnichten - das "Line" bezieht sich auf die eingelesene Zeile.

Die Ausgabezeile musst Du aus den einzelnen Bestandteilen zusammensetzen, also etwa:
>>"script.sql" echo INSERT INTO [SchnittstelleLog].[dbo].[Auswertung] ([%Zeile:~14,4%], [%Zeile:~20,1%]) VALUES('%Zeile:~42,8%%Zeile:~25,6%','P');
Grüße
bastla
Bitte warten ..
Mitglied: Biber
29.09.2009 um 21:52 Uhr
Moin Andynix und bastla,

noch zweieinhalb Ergänzungen dazu.

Wenn es sich doch um Massendatenverarbeitung handelt, dann ist der Plan, das mit einzelnen INSERT-Statements zu machen, ja schon mal ein Anfang.
Aber es gibt Datenbanken, die brauchen dann zum Einlesen von 10000 dieser Einzel-Inserts ein Stündchen, weil der Treiber leider Gates kein Abschalten des Autocommits zulässt und nach jedem f*cking Kasperstatement erstmal warten angesagt ist.

Ebenso gibt es allerdings auch -je nach Datenbankbleich- mehrere bessere und/oder Umgehungsstrategien.
Da du von SQLServer sprichst und diese "[dbo].[Tabellenname]"-Schreibweise es nahelegt, das du wohl zur täglichen Arbeit mit einen M$-Sqlserver gezwungen wirst:

Wenn Du keine Dump/DataPumpfiles erzeugen willst/sollst, sondern über INSERT-Statements gehen musst:

  • Versionen vor SqlServer 2005:
Erzeuge Sql-Skripts STATT mit dem Statement
01.
INSERT INTO [SchnittstelleLog].[dbo].[Auswertung] ([Aktionszeit], [Versendungsart])  
02.
VALUES('20090915144539', 'P'); 
03.
INSERT INTO [SchnittstelleLog].[dbo].[Auswertung] ([Aktionszeit], [Versendungsart])  
04.
VALUES('20090915144123', 'P'); 
05.
 
06.
....

... lieber STATTDESSEN solche:

01.
 
02.
INSERT INTO  [SchnittstelleLog].[dbo].[Auswertung] ([Aktionszeit], [Versendungsart])  
03.
SELECT '20090915144539', 'P' 
04.
UNION ALL 
05.
SELECT '20090915144123', 'P' 
06.
UNION ALL 
07.
SELECT '20090915144234', 'P' 
08.
UNION ALL 
09.
SELECT '20090915144456', 'P' 
10.
UNION ALL 
11.
SELECT '20090915144567', 'X' 
12.
UNION ALL 
13.
 
14.
..... 
15.
 
16.
[...und noch 30 weitere UNION ALL...nächste Zeile-mit-Values..] 
17.
GO 
18.
 
19.
[...nächste 30 Sätze]... 
20.
GO 
21.
...
Ab SqlServer 2008 geht es etwas normaler (also ohne Workaround):
01.
INSERT INTO  [SchnittstelleLog].[dbo].[Auswertung] ([Aktionszeit], [Versendungsart])  
02.
VALUES  
03.
('20090915144539', 'P'),  
04.
('20090915144123', 'P'),  
05.
('20090915144234', 'P'),  
06.
('20090915144345', 'P'),  
07.
('20090915144567', 'X'), 
08.
.... 
09.
 
Dann geht die Erzeugung des SQls etwas flotter, die .sql-Dateien werden handlicher und wartbarer und selbst ein MSSqlServer rennt wie Sau.

Grüße
Biber
Bitte warten ..
Mitglied: Andynix
30.09.2009 um 06:44 Uhr
Danke bastla - werde gleich umsetzen.
Danke Bieber - ja der INSERT ist recht langwierig.

Mache mich an die Arbeit und melde mich nachher wieder. (entweder hilfebietend oder um das Ergebnis anzubieten)
Bitte warten ..
Mitglied: Andynix
30.09.2009 um 09:59 Uhr
Ich glaubte "gut vom Begriff" zu sein aber ich bin doch zu blöd um:
1.) die Schleife für mehre Text Dateien zu erweitern, und
2.) eine Datei zu überspringen, wenn "IDST0000"

01.
@echo off & setlocal enableDelayedExpansion 
02.
set "Ordner=z:\" 
03.
set "filter=*.txt" 
04.
 
05.
:check 
06.
for  %%i in (dir /b %ordner%*.txt) do ( for /f "usebackq delims=" %%i in ("%Ordner%%filter%") do call :ProcessLine "%%i") 
07.
goto :eof 
08.
:ProcessLine 
09.
set "Zeile=%~1" 
10.
echo>>"script.sql" INSERT INTO [SchnittstelleLog].[dbo].[Auswertung] ([Aktionszeit], [Versendungsart], [Vorgangsnummer], [Aktenzeichen] , [IDST]) VALUES('%Zeile:~103,4%', '%Zeile:~89,1%', '%Zeile:~200,6%/%Zeile:~217,8%/%Zeile:~236,4%', '-', '%Zeile:~24,6%' );
...gibt es noch Hilfe für mich ?
Bitte warten ..
Mitglied: bastla
30.09.2009 um 10:45 Uhr
Hallo Andynix!

Etwa so:
01.
@echo off & setlocal enableDelayedExpansion 
02.
set "Ordner=z:\" 
03.
set "filter=*.txt" 
04.
 
05.
:check 
06.
pushd "%Ordner%" 
07.
for  %%d in (dir /b "%filter%") do ( for /f "usebackq delims=" %%i in ("%%d") do call :ProcessLine "%%i") 
08.
popd 
09.
goto :eof 
10.
:ProcessLine 
11.
set "Zeile=%~1" 
12.
>>"script.sql" echo INSERT INTO [SchnittstelleLog].[dbo].[Auswertung] ([Aktionszeit], [Versendungsart], [Vorgangsnummer], [Aktenzeichen] , [IDST]) VALUES('%Zeile:~103,4%', '%Zeile:~89,1%', '%Zeile:~200,6%/%Zeile:~217,8%/%Zeile:~236,4%', '-', '%Zeile:~24,6%' ); 
13.
goto :eof
eine Datei zu überspringen, wenn "IDST0000"
"IDST0000" bezieht sich auf den Dateinamen oder den Inhalt? So oder so, Du kannst dafür "findstr /v" verwenden ...

Grüße
bastla
Bitte warten ..
Mitglied: Andynix
30.09.2009 um 13:19 Uhr
Die Datei "dir" kann nicht gefunden werden.
Die Datei "/b" kann nicht gefunden werden.


...auch Hochkomma oder Anführungszeichen gehen nicht z.B. ('dir /b "%filter%"')
"IDST0000" bezieht sich auf den Inhalt.

Ich muss die "Batch for Runaways" genauer durch studieren.
Bitte warten ..
Mitglied: bastla
30.09.2009 um 13:34 Uhr
Hallo Andynix!

Sorry, hatte vorher nicht genau genug gelesen ...

Natürlich sind in einer "for /f"-Schleife Hochkommata gefragt - mit dem Filtern zusammen könnte das etwa so aussehen:
01.
@echo off & setlocal enableDelayedExpansion 
02.
set "Ordner=z:\" 
03.
set "filter=*.txt" 
04.
 
05.
:check 
06.
pushd "%Ordner%" 
07.
for  /f %%d in ('dir /b "%filter%'") do for /f "delims=" %%i in ('findstr /v "IDST0000" "%%d"') do call :ProcessLine "%%i" 
08.
popd 
09.
goto :eof 
10.
 
11.
:ProcessLine 
12.
set "Zeile=%~1" 
13.
>>"script.sql" echo INSERT INTO [SchnittstelleLog].[dbo].[Auswertung] ([Aktionszeit], [Versendungsart], [Vorgangsnummer], [Aktenzeichen] , [IDST]) VALUES('%Zeile:~103,4%', '%Zeile:~89,1%', '%Zeile:~200,6%/%Zeile:~217,8%/%Zeile:~236,4%', '-', '%Zeile:~24,6%' ); 
14.
goto :eof
Falls nicht unmittelbar nach dem String "IDST0000", sondern nach "0000" an der entsprechenden Zeilenposition gefiltert werden soll, musst Du das eben im Unterprogramm ":ProcessLine" erledigen ...

Grüße
bastla

P.S.:
Ich muss die "Batch for Runaways" genauer durch studieren.
Gegen diesen Vorsatz ist nun wirklich nix einzuwenden ...

[Edit] Überzählige Klammer am Ende der "for"-Zeile entfernt [/Edit]
Bitte warten ..
Mitglied: Andynix
30.09.2009 um 14:22 Uhr
Batch for Runaways - bin gerade dabei...

Trotzdem habe ich ein Problem - die Textdateien haben Leerzeichen in Namen! - deswegen greift sich FINDSTR nur den ersten Teil des Namens.
Bitte warten ..
Mitglied: bastla
30.09.2009 um 14:34 Uhr
Hallo Andynix!
die Textdateien haben Leerzeichen in Namen! - deswegen greift sich FINDSTR nur den ersten Teil des Namens
Kann eigentlich nicht sein, da "%%d" ja unter Anführungszeichen steht - eher schon, weil ein "delims=" fehlt - das wäre jetzt der Moment, für die Dateiauswahl ganz auf "for /f" zu verzichten (dann könnten auch "pushd" und "popd" entfallen) und das so zu formulieren:
for %%d in ("%ordner%%filter%") do for /f "delims=" %%i in ('findstr /v "IDST0000" "%%d"') do call :ProcessLine "%%i"
Wenn Du übrigens anstelle von "echo off" ein "echo on" verwendest, kannst Du genau nachvollziehen, was jeweils an Befehlen ausgeführt wird (bei der Gelegenheit ließe sich dann auch gleich das unnötige "setlocal enableDelayedExpansion " eliminieren).

[Edit]
Wie's aussieht ist heute ist nicht so ganz mein Tag - Du hattest ja "Datei überspringen" geschrieben, und dann müsste die Zeile eher so aussehen:
for %%d in ("%ordner%%filter%") do findstr "IDST0000" "%%d">nul || for /f "usebackq delims=" %%i in ("%%d") do call :ProcessLine "%%i"
[/Edit]

Grüße
bastla
Bitte warten ..
Ähnliche Inhalte
Batch & Shell
gelöst Text Datei bestimmte Bereiche lesen und in neue Text schreiben (3)

Frage von TurboD zum Thema Batch & Shell ...

Sicherheits-Tools
gelöst Hash-Wert fest in Audiodatei schreiben (4)

Frage von Hamoe2 zum Thema Sicherheits-Tools ...

Batch & Shell
gelöst Schreiben eines Strings mit Leerzeichen in eine Datei (6)

Frage von c20082005 zum Thema Batch & Shell ...

Batch & Shell
gelöst Datei zeilenweise auslesen - es passiert aber nichts (3)

Frage von Nagus zum Thema Batch & Shell ...

Neue Wissensbeiträge
Ubuntu

Ubuntu 17.10 steht zum Download bereit

(3)

Information von Frank zum Thema Ubuntu ...

Datenschutz

Autofahrer-Pranger - Bewertungsportal illegal

(8)

Information von BassFishFox zum Thema Datenschutz ...

Windows 10

Neues Win10 Funktionsupdate verbuggt RemoteApp

(8)

Information von thomasreischer zum Thema Windows 10 ...

Microsoft

Die neuen RSAT-Tools für Win10 1709 sind da

(2)

Information von DerWoWusste zum Thema Microsoft ...

Heiß diskutierte Inhalte
Windows 10
Seekrank bei Windows 10 (18)

Frage von zauberer123 zum Thema Windows 10 ...

Windows 10
Windows 10 Fall Creators Update Fehler (14)

Frage von ZeroCool23 zum Thema Windows 10 ...

Router & Routing
gelöst Getrenntes Routing bei VoIP und Daten (12)

Frage von Hobbystern zum Thema Router & Routing ...