11
Textfelder aus Textfile jeweils einzeln in einen Datensatz einlesen
Liebe Administrator-Gemeinde,
ich muss aus einer Edifact-Datei (Textfile) Daten in eine Access-Tabelle importieren.
Beispiel des Aufbaus der Edifact-Datei:
'ABC:123'DEF:456'GHI789'JKL125lk'MNO+:adf45'PIA+5+F50:SA:108:91'PIA+5+F50:SA:108:92'IMD+E++:108' .........
...............'ABC:123'DEF:789'GHI345'JKL204lk'MNO+:cdk76'.....................................................................................................
Die einzelnen Datenfelder sind also durch ein Hochkomma (') getrennt und werden ohne Zwischenraum und ohne Zeilenumbruch aneinandergefügt.
Die Dateien enthalten weit über 10.000 Zeilen.
Um diese Daten einigermaßen lesbar zu machen, sollen die Datenfelder in eine Access-Tabelle (tabImport) derart importiert werden, dass die einzelnenDatenfelder in einer einzigen Spalte jeweils als neuer Datensatz erscheinen.
Also So: ID Spalte
1 'ABC:123
2 'DEF:456
3 'GHI789
4 'JKL125lk
5 ............
6 .............
Hab das Problem schon auf verschiedene Weise zu lösen versucht, bin aber noch auf keine brauchbare Lösung gestoßen.
Die Misere liegt darin, dass Access beim Textimport zwar automatisch das Hochkomma(') als Feldtrennzeichen erkennt, ich aber bisher noch keine Funktion gefunden habe, die dieses Feldtrennzeichen als Zeichen für einen neuen Datensatz interpretiert.
Ersatzweise könnte man die Quelldatei vielleicht bereits vor dem Einlesen entsprechend aufbereiten (Für jedes Feld eine neue Zeile), dann klappt nämlich der Import in Access einwandfrei.
Vielleicht hat von Euch jemand eine passende Lösung parat. Ich bin für jede Anregung dankbar. Für eure Mühe bedanke ich mich im Voraus!
'ABC:123'DEF:456'GHI789'JKL125lk'MNO+:adf45'PIA+5+F50:SA:108:91'PIA+5+F50:SA:108:92'IMD+E++:108' .........
...............'ABC:123'DEF:789'GHI345'JKL204lk'MNO+:cdk76'.....................................................................................................
Die einzelnen Datenfelder sind also durch ein Hochkomma (') getrennt und werden ohne Zwischenraum und ohne Zeilenumbruch aneinandergefügt.
Die Dateien enthalten weit über 10.000 Zeilen.
Um diese Daten einigermaßen lesbar zu machen, sollen die Datenfelder in eine Access-Tabelle (tabImport) derart importiert werden, dass die einzelnenDatenfelder in einer einzigen Spalte jeweils als neuer Datensatz erscheinen.
Also So: ID Spalte
1 'ABC:123
2 'DEF:456
3 'GHI789
4 'JKL125lk
5 ............
6 .............
Hab das Problem schon auf verschiedene Weise zu lösen versucht, bin aber noch auf keine brauchbare Lösung gestoßen.
Die Misere liegt darin, dass Access beim Textimport zwar automatisch das Hochkomma(') als Feldtrennzeichen erkennt, ich aber bisher noch keine Funktion gefunden habe, die dieses Feldtrennzeichen als Zeichen für einen neuen Datensatz interpretiert.
Ersatzweise könnte man die Quelldatei vielleicht bereits vor dem Einlesen entsprechend aufbereiten (Für jedes Feld eine neue Zeile), dann klappt nämlich der Import in Access einwandfrei.
Vielleicht hat von Euch jemand eine passende Lösung parat. Ich bin für jede Anregung dankbar. Für eure Mühe bedanke ich mich im Voraus!
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 169776
Url: https://administrator.de/contentid/169776
Printed on: April 19, 2024 at 09:04 o'clock
11 Comments
Latest comment
Hallo wiuwiu,
es wäre natürlich kein Problem ein VBScript zu schreiben, das die gewünschte Aufteilung der einzelnen Datensätze auf jeweils eine Zeile vornimmt. Es stellt sich aber auch die Frage, ob die Export-Software nicht bereits die Möglichkeit bietet, die Daten in einem besser strukturierten Format zu exportieren.
Für die VBScript-Lösung tauchen aber auch noch Fragen auf:
Gruß
Friemler
es wäre natürlich kein Problem ein VBScript zu schreiben, das die gewünschte Aufteilung der einzelnen Datensätze auf jeweils eine Zeile vornimmt. Es stellt sich aber auch die Frage, ob die Export-Software nicht bereits die Möglichkeit bietet, die Daten in einem besser strukturierten Format zu exportieren.
Für die VBScript-Lösung tauchen aber auch noch Fragen auf:
- Gibt es wirklich keine Zeilenumbrüche in der Export-Datei? Du schreibst ja auch von "weit über 10000 Zeilen".
- Wenn die Datei/jede einzelne Zeile mit einem Hochkomma anfängt und endet, würde die VBScript-Funktion
Splitdadurch jeweils eine leere Zeile in der Ausgabedatei erzeugen. Kann man nun davon ausgehen, dass sonst nirgends leere Datensätze in der Export-Datei vorkommen (zwei aufeinander folgende Hochkommas) und könnte somit durch eine Abfrage verhindern, dass leere Zeilen in die Ausgabedatei geschrieben werden, oder müsste man eine Sonderbehandlung für "Hochkomma am Datei-/Zeilenanfang oder -ende" einführen? - Was ist, wenn ein Datensatz selbst ein Hochkomme enthält? Das muss ja dann irgendwie "escaped" werden. Wie macht das die Exportsoftware? Oder kommt das nicht vor?
Gruß
Friemler
für den anfang:
lad dir ultraedit
öffne das file mit ultraedit drücke strg+r (ersetzen)
suche nach '
ersetzen durch zeilenumbruch (strg+enter)
habs grade mal ausprobiert mit deinem beispiel:
'ABC:123'DEF:456'GHI789'JKL125lk'MNO+:adf45'PIA+5+F50:SA:108:91'PIA+5+F50:SA:108:92'IMD+E++:108' =
ABC:123
DEF:456
GHI789
JKL125lk
MNO+:adf45
PIA+5+F50:SA:108:91
PIA+5+F50:SA:108:92
IMD+E++:108
grüße!
lad dir ultraedit
öffne das file mit ultraedit drücke strg+r (ersetzen)
suche nach '
ersetzen durch zeilenumbruch (strg+enter)
habs grade mal ausprobiert mit deinem beispiel:
'ABC:123'DEF:456'GHI789'JKL125lk'MNO+:adf45'PIA+5+F50:SA:108:91'PIA+5+F50:SA:108:92'IMD+E++:108' =
ABC:123
DEF:456
GHI789
JKL125lk
MNO+:adf45
PIA+5+F50:SA:108:91
PIA+5+F50:SA:108:92
IMD+E++:108
grüße!
jo hab mir auch gedacht, dass die exportsoftwar sowas hergeben müsste ;)
Hallo Friemler,
Vielen Dank für die schnelle Antwort.
Es gibt hierzu keine spezielle Export-Software, ich kann die Datei lediglich im Editor öffnen.
Zu 1. Es gibt tatsächlich keine Zeilenumbrüche. Die weit über 10000 Zeilen (geschätzt) bezogen sich lediglich auf die Ansicht im Editor
Zu 2. Der Dateiinhalt beginnt mit dem Code "UNA:+.? " (ohne Anführungszeichen) . Darauf folgen jeweils nur durch ein Hochkomma getrennt die Datenfelder. Es gibt auch keine leeren Datensätze. Wenn die Datenbezeichnung keinen Wert enthält, wird das ganze Feld incl. Hochkomma gar nicht aufgeführt. Die Datei endet dann mit dem letzten Datenfeld (wieder mit einem Hochkomma). Ich müsste somit den gesamten Dateiinhalt (ca. 3,5 MB!) als einen String einlesen und ihn dann splitten. Da steigt allerdings der Rechner aus.
Zu 3. Im Datensatz selbst erscheint kein Hochkomma, so dass wenigstens dieses Problem nicht auftaucht.
Gruß
Wiuwiu
Vielen Dank für die schnelle Antwort.
Es gibt hierzu keine spezielle Export-Software, ich kann die Datei lediglich im Editor öffnen.
Zu 1. Es gibt tatsächlich keine Zeilenumbrüche. Die weit über 10000 Zeilen (geschätzt) bezogen sich lediglich auf die Ansicht im Editor
Zu 2. Der Dateiinhalt beginnt mit dem Code "UNA:+.? " (ohne Anführungszeichen) . Darauf folgen jeweils nur durch ein Hochkomma getrennt die Datenfelder. Es gibt auch keine leeren Datensätze. Wenn die Datenbezeichnung keinen Wert enthält, wird das ganze Feld incl. Hochkomma gar nicht aufgeführt. Die Datei endet dann mit dem letzten Datenfeld (wieder mit einem Hochkomma). Ich müsste somit den gesamten Dateiinhalt (ca. 3,5 MB!) als einen String einlesen und ihn dann splitten. Da steigt allerdings der Rechner aus.
Zu 3. Im Datensatz selbst erscheint kein Hochkomma, so dass wenigstens dieses Problem nicht auftaucht.
Gruß
Wiuwiu
Hallo Wiuwiu,
mit Export-Software meinte ich kein spezielles Programm, sondern eben das Programm, aus dem die Daten exportiert werden. Gute Programme bieten da eine gewisse Freiheit bzgl. des Export-Formats. Oder soll etwa direkt die Datendatei des Programms bearbeitet werden?
Any way, hier mal ein Script, das Dir helfen sollte:
Wegen der großen Datenmenge wird die Eingabedatei nur zeichenweise eingelesen. Der von Dir erwähnte Header wird überlesen. Jedes Hochkomma erzeugt einen Zeilenumbruch in der Ausgabedatei (außer dem ersten, direkt nach dem Header). Ich bin davon ausgegangen, dass die Datei nicht mit einem Hochkomma endet, sondern nur jeder Datensatz damit beginnt.
Du kannst das Icon der Eingabedatei auf das Icon des obigen Scripts ziehen.
Als Ausgabedatei entsteht eine neue Datei, deren Name aus dem Namen der Eingabedatei, ergänzt um "_Neu", besteht (aus
Gruß
Friemler
mit Export-Software meinte ich kein spezielles Programm, sondern eben das Programm, aus dem die Daten exportiert werden. Gute Programme bieten da eine gewisse Freiheit bzgl. des Export-Formats. Oder soll etwa direkt die Datendatei des Programms bearbeitet werden?
Any way, hier mal ein Script, das Dir helfen sollte:
Const ForReading = 1
Const ForWriting = 2
If WScript.Arguments.Count > 0 Then
Set objFSO = CreateObject("Scripting.FileSystemObject")
'Dateipfad in die Bestandteile Pfad, Dateiname und -erweiterung aufteilen
strFilePath = objFSO.GetParentFolderName(WScript.Arguments(0))
strFileName = objFSO.GetBaseName(WScript.Arguments(0))
strFileExt = objFSO.GetExtensionName(WScript.Arguments(0))
'Eingabedaei zum lesen öffnen
Set objInFile = objFSO.OpenTextFile(WScript.Arguments(0), ForReading, False)
'Ausgabedatei zum schreiben öffnen
'Den Dateinamen dabei um "_Neu" ergänzen
Set objOutFile = objFSO.OpenTextFile(objFSO.BuildPath(strFilePath, strFileName & "_Neu" & "." & strFileExt), ForWriting, True)
'Header überlesen
Do While (Not objInFile.AtEndOfStream) And (objInFile.Read(1) <> "'")
Loop
'Eingabedatei zeichenweise einlesen
'Ausgabedatei zeichenweise schreiben
'Wenn ein Hochkomma gelesen wurde, einen Zeilenumbruch schreiben
While Not objInFile.AtEndOfStream
strChar = objInFile.Read(1)
If strChar <> "'" Then
objOutFile.Write strChar
Else
objOutFile.Write vbCRLF
End If
Wend
'Letzte Zeile der Ausgabedatei mit einem Zeilenumbruch abschließen
objOutFile.Write vbCRLF
objOutFile.Close
objInFile.Close
End IfWegen der großen Datenmenge wird die Eingabedatei nur zeichenweise eingelesen. Der von Dir erwähnte Header wird überlesen. Jedes Hochkomma erzeugt einen Zeilenumbruch in der Ausgabedatei (außer dem ersten, direkt nach dem Header). Ich bin davon ausgegangen, dass die Datei nicht mit einem Hochkomma endet, sondern nur jeder Datensatz damit beginnt.
Du kannst das Icon der Eingabedatei auf das Icon des obigen Scripts ziehen.
Als Ausgabedatei entsteht eine neue Datei, deren Name aus dem Namen der Eingabedatei, ergänzt um "_Neu", besteht (aus
Daten.txt wird Daten_Neu.txt).Gruß
Friemler
Hallo CSE,
vielen Dank für den Tip, haut wunderbar hin.
Irgendwas mach ich allerdings wohl falsch. Ultraedit macht einen Zeilenumbruch, schreibt aber das Wort "Zeilenumbruch" auch immer dazu. Muss ich dem Befehl evtl. irgendein Zeichen vorsetzen?
Wenns nicht anders geht, ersetz ich hat das Wort "Zeilenumbruch" in einem zweiten Durchlauf wieder mit einem Hochkomma, dann passts auch wieder.
Auf jeden Fall nochmals vielen Dank. Hast mir sehr geholfen!
Gruß
Wiuwiu
vielen Dank für den Tip, haut wunderbar hin.
Irgendwas mach ich allerdings wohl falsch. Ultraedit macht einen Zeilenumbruch, schreibt aber das Wort "Zeilenumbruch" auch immer dazu. Muss ich dem Befehl evtl. irgendein Zeichen vorsetzen?
Wenns nicht anders geht, ersetz ich hat das Wort "Zeilenumbruch" in einem zweiten Durchlauf wieder mit einem Hochkomma, dann passts auch wieder.
Auf jeden Fall nochmals vielen Dank. Hast mir sehr geholfen!
Gruß
Wiuwiu
Hallo Friemler,
ich finde das ganz toll, wie Du Dich in mein Problem reinhängst.
Habe zwar von CSE auch einen ganz brauchbaren Weg aufgezeigt bekommen. Mit Deinem Script scheint mir das Ganze jedoch etwas professioneller abzulaufen, zumal auf mich ja nicht nur die eine Datei mit 3,5 MB sondern zahlreiche Dateien mit über 1 GB warten.
Sei mir aber bitte nicht böse, wenn ich das Script heute nicht mehr ausprobiere. Ich muss morgen früh raus.
Sobald ich es ausprobiert habe, melde ich mich wieder.
Nochmals vielen Dank und gute Nacht
wiuwiu
ich finde das ganz toll, wie Du Dich in mein Problem reinhängst.
Habe zwar von CSE auch einen ganz brauchbaren Weg aufgezeigt bekommen. Mit Deinem Script scheint mir das Ganze jedoch etwas professioneller abzulaufen, zumal auf mich ja nicht nur die eine Datei mit 3,5 MB sondern zahlreiche Dateien mit über 1 GB warten.
Sei mir aber bitte nicht böse, wenn ich das Script heute nicht mehr ausprobiere. Ich muss morgen früh raus.
Sobald ich es ausprobiert habe, melde ich mich wieder.
Nochmals vielen Dank und gute Nacht
wiuwiu
Hallo Friemler,
lach mich bitte nicht aus, aber ich bring Dein Script nicht zum Laufen.
Kannst Du mir bitte erklären, wo und wie ich das Script speichern und einbinden soll, wenn ich meine Textdatei (C:\Kundendaten\Test.txt) umwandeln will.
Das mit dem Icon rüberziehen hab ich nicht ganz kapiert. Sorry!
Danke
wiuwiu
lach mich bitte nicht aus, aber ich bring Dein Script nicht zum Laufen.
Kannst Du mir bitte erklären, wo und wie ich das Script speichern und einbinden soll, wenn ich meine Textdatei (C:\Kundendaten\Test.txt) umwandeln will.
Das mit dem Icon rüberziehen hab ich nicht ganz kapiert. Sorry!
Danke
wiuwiu
bei mir hat er nix hingeschrieben, scheinst was falsch zu machen ;)
vergiss nicht den thread als gelöst zu markieren!
vergiss nicht den thread als gelöst zu markieren!
Hallo cse,
hab jetzt einen anderen Editor (notepad++) hergenommen, da läuft es einwandfrei. Der Vorteil dieses Editors besteht übrigens darin, dass er die Anzahl der Zeichen und der Zeilen ausgibt.
Nur zur Information: Meine Datei mit 3,5 MB hatte ca. 3,6 Mio Zeichen in einer Zeile, nach Setzen der Zeilenumbrüche wurden daraus ca. 120.000 Zeilen. Die Umwandlung dauerte nicht einmal 1 Minute. Kann das Programm (Freeware) nur wärmstens weiterempfehlen.
Vielen Dank nochmals für Deine Hilfe, vielleicht trifft man sich wieder mal im Portal
Viele Grüße
wiuwiu
hab jetzt einen anderen Editor (notepad++) hergenommen, da läuft es einwandfrei. Der Vorteil dieses Editors besteht übrigens darin, dass er die Anzahl der Zeichen und der Zeilen ausgibt.
Nur zur Information: Meine Datei mit 3,5 MB hatte ca. 3,6 Mio Zeichen in einer Zeile, nach Setzen der Zeilenumbrüche wurden daraus ca. 120.000 Zeilen. Die Umwandlung dauerte nicht einmal 1 Minute. Kann das Programm (Freeware) nur wärmstens weiterempfehlen.
Vielen Dank nochmals für Deine Hilfe, vielleicht trifft man sich wieder mal im Portal
Viele Grüße
wiuwiu
Hallo Friemler,
meine letzte Frage hat sich erledigt.
Hab jetzt die Daten mit einem Editor (notepad++) umgewandelt, da läuft es einwandfrei. Der Vorteil dieses Editors besteht übrigens darin, dass er die Anzahl der Zeichen und der Zeilen ausgibt.
Nur zur Information: Meine Datei mit 3,5 MB hatte ca. 3,6 Mio Zeichen in einer Zeile, nach Setzen der Zeilenumbrüche wurden daraus ca. 120.000 Zeilen. Die Umwandlung dauerte nicht einmal 1 Minute. Kann das Programm (Freeware) nur wärmstens weiterempfehlen.
Vielen Dank nochmals für Deine Hilfe, vielleicht trifft man sich wieder mal im Portal
Viele Grüße
wiuwiu
meine letzte Frage hat sich erledigt.
Hab jetzt die Daten mit einem Editor (notepad++) umgewandelt, da läuft es einwandfrei. Der Vorteil dieses Editors besteht übrigens darin, dass er die Anzahl der Zeichen und der Zeilen ausgibt.
Nur zur Information: Meine Datei mit 3,5 MB hatte ca. 3,6 Mio Zeichen in einer Zeile, nach Setzen der Zeilenumbrüche wurden daraus ca. 120.000 Zeilen. Die Umwandlung dauerte nicht einmal 1 Minute. Kann das Programm (Freeware) nur wärmstens weiterempfehlen.
Vielen Dank nochmals für Deine Hilfe, vielleicht trifft man sich wieder mal im Portal
Viele Grüße
wiuwiu
