3
MS SQL Server 2005 Externe Daten aus FlatFiles oder Access mit SQL Datenbank verknüpfen und bei Änderung automatisch updaten machbar?
Guten Morgen,
das Forum habe ich schon durchsucht und gegoogelt habe ich auch schon. Jedoch habe ich noch keine Lösung gefunden. Deswegen frage ich nun euch:
Ich habe folgendes Problem:
Ich habe vor FlatFiles in eine SQL Datenbank einzubinden. Wenn sich nun etwas in der FlatFile ändert soll es sich auch automatisch in der SQL Datenbank ändern. Achso bevor ich es vergesse: Mein System ist ein MS SQL Server 2005.
In Access gibt es die Möglichkeit die externe Datenquelle als Verknüpfung anzulegen und wenn es dann eine Änderung in der FaltFile gibt sehe ich die Änderung direkt im Access.
Gibt es eine Möglichkeit dies auch im SQL umzusetzen?
Bisher habe ich nur den Datenimport gefunden. Die Daten sind dann aber fest in die Datenbank geschrieben.
Diesen Aufwand betreibe ich aus folgenden Grund:
Ich bekomme vom Kunden die FlatFiles. Die Daten aus den Files müssen dann mit Hilfe eines ETL Servers in eine OLAP Datenbank übertragen werden.
Mein ETL Server kann jedoch nur Daten aus SQL Server oder CSV Dateien verarbeiten. Jedoch bekomme ich meine Daten als FlatFile mit fester Spaltenbreite.
Bisher bin ich hergangen und habe die Daten in Access eingebunden und von da aus in SQL importiert und dann per ETL in die OLAP Datenbank.
Großer Nachteil ich muss regelmäßig Prüfen ob es ein Update der Daten gegeben hat. Oder ob es neue Datensätze gibt. Noch ist die Datenmenge recht klein. Aber sie wird nächstes Jahr sehr anwachsen....
Deswegen die Idee mit der automatischen Verknüpfung. Dann kann ich Zeitgesteuert den ETL Prozess starten und habe meine Cubes in der OLAP Datenbank immer aktuell.
So ich hoffe hier hat jemand eine Idee oder einen Tipp und kann mir weiterhelfen.
Gruß Orange
das Forum habe ich schon durchsucht und gegoogelt habe ich auch schon. Jedoch habe ich noch keine Lösung gefunden. Deswegen frage ich nun euch:
Ich habe folgendes Problem:
Ich habe vor FlatFiles in eine SQL Datenbank einzubinden. Wenn sich nun etwas in der FlatFile ändert soll es sich auch automatisch in der SQL Datenbank ändern. Achso bevor ich es vergesse: Mein System ist ein MS SQL Server 2005.
In Access gibt es die Möglichkeit die externe Datenquelle als Verknüpfung anzulegen und wenn es dann eine Änderung in der FaltFile gibt sehe ich die Änderung direkt im Access.
Gibt es eine Möglichkeit dies auch im SQL umzusetzen?
Bisher habe ich nur den Datenimport gefunden. Die Daten sind dann aber fest in die Datenbank geschrieben.
Diesen Aufwand betreibe ich aus folgenden Grund:
Ich bekomme vom Kunden die FlatFiles. Die Daten aus den Files müssen dann mit Hilfe eines ETL Servers in eine OLAP Datenbank übertragen werden.
Mein ETL Server kann jedoch nur Daten aus SQL Server oder CSV Dateien verarbeiten. Jedoch bekomme ich meine Daten als FlatFile mit fester Spaltenbreite.
Bisher bin ich hergangen und habe die Daten in Access eingebunden und von da aus in SQL importiert und dann per ETL in die OLAP Datenbank.
Großer Nachteil ich muss regelmäßig Prüfen ob es ein Update der Daten gegeben hat. Oder ob es neue Datensätze gibt. Noch ist die Datenmenge recht klein. Aber sie wird nächstes Jahr sehr anwachsen....
Deswegen die Idee mit der automatischen Verknüpfung. Dann kann ich Zeitgesteuert den ETL Prozess starten und habe meine Cubes in der OLAP Datenbank immer aktuell.
So ich hoffe hier hat jemand eine Idee oder einen Tipp und kann mir weiterhelfen.
Gruß Orange
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 104454
Url: https://administrator.de/contentid/104454
Printed on: April 20, 2024 at 02:04 o'clock
3 Comments
Latest comment
Servus,
wenn du schon
benutzt, warum baust du dir dann nicht mit Access eine DB zusammen, die Ihrerseits auf die Flatfiles zugreift und selber per ODBC auf den SQL schreibt?
Wahrscheinlich weil es viel einfacher wäre aus den Flatfiles CSVs zu machen, die dann der ETL Server ohne weitere Krücken einlesen kann.
Gruß
wenn du schon
- Flatfile
- Access
- SQL Server
benutzt, warum baust du dir dann nicht mit Access eine DB zusammen, die Ihrerseits auf die Flatfiles zugreift und selber per ODBC auf den SQL schreibt?
Wahrscheinlich weil es viel einfacher wäre aus den Flatfiles CSVs zu machen, die dann der ETL Server ohne weitere Krücken einlesen kann.
Gruß
Moin Orange,
Was haben die Dir denn als ETL-Server angedreht?!?
Den Produktnamen wüsste ich schon gern.
Aber wenn ihr da bei Eurer Kaufentscheidung schon voll in die Grütze gefasst habt, dann bau da nicht noch einen Windpark von One-Trick-Prozessen drumherum.
T-Mo hat schon die unter diesen trostlosen Umständen sinnvollste Strategie gepostet:
-> Ich würde noch einen Schritt weiter gehen und dringend forcieren, dass Eure Datenquellen selbst CSV-Dateien erzeugen und liefern.
Denn es muss immer rekonstruierbar sein, ob die Daten schon in der Datenquelle inkonsistent sind oder bei ETL-Prozessen falsch interpretiert in den Storage Layer geschoben werden.
Das bekommst Du mit einem über-7-Brücken-ETL-Prozess vor dem richtigen ETL-Prozess nicht hin.
Entweder Quellformat ändern oder vorhandenes ETL-Tool ersetzen.
Grüße
Biber
Mein ETL Server kann jedoch nur Daten aus SQL Server oder CSV Dateien verarbeiten
ja, sach ma' ...Was haben die Dir denn als ETL-Server angedreht?!?
Den Produktnamen wüsste ich schon gern.
Aber wenn ihr da bei Eurer Kaufentscheidung schon voll in die Grütze gefasst habt, dann bau da nicht noch einen Windpark von One-Trick-Prozessen drumherum.
T-Mo hat schon die unter diesen trostlosen Umständen sinnvollste Strategie gepostet:
Wahrscheinlich weil es viel einfacher wäre aus den Flatfiles CSVs zu machen...
-> Ich würde noch einen Schritt weiter gehen und dringend forcieren, dass Eure Datenquellen selbst CSV-Dateien erzeugen und liefern.
Denn es muss immer rekonstruierbar sein, ob die Daten schon in der Datenquelle inkonsistent sind oder bei ETL-Prozessen falsch interpretiert in den Storage Layer geschoben werden.
Das bekommst Du mit einem über-7-Brücken-ETL-Prozess vor dem richtigen ETL-Prozess nicht hin.
Entweder Quellformat ändern oder vorhandenes ETL-Tool ersetzen.
Grüße
Biber
Guten Abend,
vielen Dank für die beiden Antworten.
Die OLAP Datenbank und der ETL Server sind beides Open Source Lösungen. Wir testen nur wie weit wir das ganze nutzen können.
Und da wir ja keine CSV Dateien bekommen war eben der Weg über Acces und SQL eine Lösungsansatz. Aber das scheint nicht so einfach zu machen sein.
Gruß Orange
vielen Dank für die beiden Antworten.
Die OLAP Datenbank und der ETL Server sind beides Open Source Lösungen. Wir testen nur wie weit wir das ganze nutzen können.
Und da wir ja keine CSV Dateien bekommen war eben der Weg über Acces und SQL eine Lösungsansatz. Aber das scheint nicht so einfach zu machen sein.
Gruß Orange
