25
Lokale geschäftliche KI-Instanz aufsetzen
Moinsen,
KI ist seit geraumer Zeit in verschiedensten Ausführungen verfügbar, aber meist nur als eher mäßige kostenlose Variante, wo man sich oft auch noch registrieren/anmelden muss oder kostenpflichtig in einem Abo angeboten wird. In beiden Varianten ist die Nutzung von eingebrachten Daten nicht klar was damit passiert.
Deswegen und vor allem, weil mich dieses Video inspiriert hat, möchte ich für meine User eine KI-Testumgebung aufbauen. Klar, das wird kein "fetter" Rechner mit zwei 4090 drin, da wird mein Chef mir den Vogel zeigen, aber etwas in Richtung 3090 (vermutlich gebraucht) wird es wohl sein.
Hat jemand von Euch bereits Erfahrung mit dem, was im Video beschrieben ist bzw. mit ähnlichen Modellen? Ich denke, dass kann sich durchaus für Firmen interne Inhalte durchaus lohnen, oder sehe ich das zu blauäugig? Ich meine z.B. 20 User, die das System nutzen, würden auch mindestens €400/Monat kosten, da ist so ein System innerhalb weniger Monate wieder amortisiert, oder?
KI ist seit geraumer Zeit in verschiedensten Ausführungen verfügbar, aber meist nur als eher mäßige kostenlose Variante, wo man sich oft auch noch registrieren/anmelden muss oder kostenpflichtig in einem Abo angeboten wird. In beiden Varianten ist die Nutzung von eingebrachten Daten nicht klar was damit passiert.
Deswegen und vor allem, weil mich dieses Video inspiriert hat, möchte ich für meine User eine KI-Testumgebung aufbauen. Klar, das wird kein "fetter" Rechner mit zwei 4090 drin, da wird mein Chef mir den Vogel zeigen, aber etwas in Richtung 3090 (vermutlich gebraucht) wird es wohl sein.
Hat jemand von Euch bereits Erfahrung mit dem, was im Video beschrieben ist bzw. mit ähnlichen Modellen? Ich denke, dass kann sich durchaus für Firmen interne Inhalte durchaus lohnen, oder sehe ich das zu blauäugig? Ich meine z.B. 20 User, die das System nutzen, würden auch mindestens €400/Monat kosten, da ist so ein System innerhalb weniger Monate wieder amortisiert, oder?
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 22261082269
Url: https://administrator.de/contentid/22261082269
Printed on: June 2, 2024 at 03:06 o'clock
25 Comments
Latest comment
Welche Ergebnisse versprichst du dir davon? Einkaufszettel diktieren? Da kannste genau so gut nen Lautsprecher mit Siri hinstellen.
2
Zitat von @NordicMike:
Welche Ergebnisse versprichst du dir davon? Einkaufszettel diktieren? Da kannste genau so gut nen Lautsprecher mit Siri hinstellen.
Welche Ergebnisse versprichst du dir davon? Einkaufszettel diktieren? Da kannste genau so gut nen Lautsprecher mit Siri hinstellen.
Wow - ist heute Freitagnachmittag oder der 1. April? Siri wird mir also auflisten können welche Zahlungsziele meine Lieferanten haben, die durchschnittlichen Kosten für Mobilfunk für eine bestimmte Gruppe von Anwendern aufzeigen in einem bestimmten Zeitraum, einen langen Vertragstext in eine sinnvolle Zusammenfassung zu kürzen, aus einer Skizze auf einem Blatt Papier ein Präsentationslayout erstellen...
Beispiele hätte ich genug und wie der Titel schon sagt, es geht um geschäftliche Anwendungsfälle.
Sehe ich genauso wie @NordicMike erstmal das Problem definieren dann eine passende Lösung suchen, anders wird dir kein Projekt funktionieren.
Nur eine KI, der KI willen ist Blödsinn.
Nur eine KI, der KI willen ist Blödsinn.
Zitat von @DerMaddin:
Wow - ist heute Freitagnachmittag oder der 1. April? Siri wird mir also auflisten können welche Zahlungsziele meine Lieferanten haben, die durchschnittlichen Kosten für Mobilfunk für eine bestimmte Gruppe von Anwendern aufzeigen in einem bestimmten Zeitraum, einen langen Vertragstext in eine sinnvolle Zusammenfassung zu kürzen, aus einer Skizze auf einem Blatt Papier ein Präsentationslayout erstellen...
Wow - ist heute Freitagnachmittag oder der 1. April? Siri wird mir also auflisten können welche Zahlungsziele meine Lieferanten haben, die durchschnittlichen Kosten für Mobilfunk für eine bestimmte Gruppe von Anwendern aufzeigen in einem bestimmten Zeitraum, einen langen Vertragstext in eine sinnvolle Zusammenfassung zu kürzen, aus einer Skizze auf einem Blatt Papier ein Präsentationslayout erstellen...
Anscheinend. Die Software muss aber auch die Datenquellen abgreifen und deine Befehle entsprechend interpretieren können. Ganz so lustig ist das glaub ich nicht.
Ich weiß das wir für unser SAP so etwas in den nächsten Jahren bekommen werden. Nur sitzen das ein paar tausend Inder die an so etwas hin arbeiten und wird Millionen an Entwicklungsaufwand kosten.
also auflisten können welche Zahlungsziele meine Lieferanten haben
Dafür benötigt man keine Intelligenz, sondern ein simples Warenwirtschaftsprogramm. Manche sagen auch Excel dazu.die durchschnittlichen Kosten für Mobilfunk
Sag ich doch, Excel 
einen langen Vertragstext in eine sinnvolle Zusammenfassung zu kürzen
Wenn du dafür eine unreife KI verwendest, werden dich alle auslachen. Beim Vertrag reicht es einem Wort einen Buchstaben hinzuzufügen und schon hat es eine andere Bedeutung, die der Vertragsgegner mit Handkuss ausnutzt.
Hi,
ich finde die Idee super. Einfach mal ausprobieren, was mit einer eigenen lokalen KI möglich ist. Für die Detailplaner hier wohl kaum vorstellbar. Lass dich da nicht mit runterziehen, ich habe das Gefühl, dass einige User hier schon viel zu lange an ihrem Computer sitzen.
Nein, man braucht nicht immer ein komplettes Pflichtenheft oder eine ausgefeilte Anforderung, um etwas Neues auszuprobieren. Manchmal will man es einfach nur testen.
Wenn du z.B. Ollama installierst, kannst du anschließend die folgenden Language Models herunterladen:
Dazu noch ein Chat-Interface wie:
Viel Spaß
firefly
ich finde die Idee super. Einfach mal ausprobieren, was mit einer eigenen lokalen KI möglich ist. Für die Detailplaner hier wohl kaum vorstellbar. Lass dich da nicht mit runterziehen, ich habe das Gefühl, dass einige User hier schon viel zu lange an ihrem Computer sitzen.
Nein, man braucht nicht immer ein komplettes Pflichtenheft oder eine ausgefeilte Anforderung, um etwas Neues auszuprobieren. Manchmal will man es einfach nur testen.
- Du könntest mit dem AI-Setup aus deinem Video selbst beginnen: https://ollama.com/
- Du könntest dir die folgenden Links genauer ansehen: How to run your own AI oder How to run powerful AI locally on your own computer for free
- Du testest GPT4All
Wenn du z.B. Ollama installierst, kannst du anschließend die folgenden Language Models herunterladen:
- Llama 3 (die aktuelle KI von Meta)
- Phi 3 (ein kleines modernes und offenes KI-Modell von Microsoft)
- Mistral (Mistral KI mit Apache Lizenz)
- Gemma (ein kleines, modernes und offenes KI-Modelle von Google DeepMind)
- und einige andere -> siehe https://github.com/ollama/ollama
Dazu noch ein Chat-Interface wie:
OpenWebUI
Viel Spaß
firefly
1
@firefly
Ja so Spaßprojekte oder Testballons um Technologien kennen zu lernen sind auch wichtig.
Und ich find's in meiner Situation schade keine Zeit mehr für so etwas zu haben. Und mit der Zeit und Erfahrung verwirft man auch sehr schnell solche Gedanken wieder.
Aber trotzdem ist es auch wichtig mit einem gewissen Realismus an so etwas ran zu gehen und bei so einem vorhaben geht's nun mal nicht darum einfach nur eine KI aufzusetzen.
Ja so Spaßprojekte oder Testballons um Technologien kennen zu lernen sind auch wichtig.
Und ich find's in meiner Situation schade keine Zeit mehr für so etwas zu haben. Und mit der Zeit und Erfahrung verwirft man auch sehr schnell solche Gedanken wieder.
Aber trotzdem ist es auch wichtig mit einem gewissen Realismus an so etwas ran zu gehen und bei so einem vorhaben geht's nun mal nicht darum einfach nur eine KI aufzusetzen.
@wiesi200
Ja, aber er schreibt doch, dass er inspiriert wurde und daher eine KI-Testumgebung aufbauen will und kein Produktionssystem.
Zuerst sollte man sich die KI Grundlagen anschauen, eine eigene KI zum Laufen bringen, mit ihr spielen und dann sehen, was man braucht bzw. was man als Anforderung formulieren kann.
Erst dann zeigt sich, ob die Wünsche realisierbar sind oder nicht. KI kann heute schon mehr, als sich viele hier vorstellen können. Hier aber wird dem User ein Warenwirtschaftsprogramm, Excel, unreife KIs oder Siri vorgeschlagen. Das zeugt von viel, äh, wie soll ich es nett sagen, Nachholbedarf in Sachen AI.
just my 2 cents
Gruß
@firefly
Ja, aber er schreibt doch, dass er inspiriert wurde und daher eine KI-Testumgebung aufbauen will und kein Produktionssystem.
Zuerst sollte man sich die KI Grundlagen anschauen, eine eigene KI zum Laufen bringen, mit ihr spielen und dann sehen, was man braucht bzw. was man als Anforderung formulieren kann.
Erst dann zeigt sich, ob die Wünsche realisierbar sind oder nicht. KI kann heute schon mehr, als sich viele hier vorstellen können. Hier aber wird dem User ein Warenwirtschaftsprogramm, Excel, unreife KIs oder Siri vorgeschlagen. Das zeugt von viel, äh, wie soll ich es nett sagen, Nachholbedarf in Sachen AI.
just my 2 cents
Gruß
@firefly
Sobald man was von "amortisiert" schreibt dann ist das keine Spielwiese mehr.
Meine Intention ist wie von @firefly beschrieben. Zuerst soll das ein Testsystem sein, Anfangs nur für die IT. Wenn sich daraus Vorteile ergeben, dann kleine Pilotgruppe und später mehr User. Ich muss nicht vorher ein "Problem" definieren, es gibt auch keines aber viele Möglichkeiten etwas zu verbessern und sei es nur ein Text zu verfassen, der Inhaltlich zu vorhandenen Texten/Dokumenten passt.
@wiesi200 nur weil ich amortisiert geschrieben habe, bedeutet nicht, dass es ein Business-Projekt oder Produktivsystem ist. Zum testen muss man oft einen kleinen Betrag ausgeben und wenn sich das nur zum Teil amortisiert, dann ist doch gut.
@firefly danke für die hilfreichen Infos
Bei NordicMike ist die Ablehnung dieser Technologie gegenüber in jedem seiner Sätze deutlich erkennbar. Danke trotzdem für deine wertvolle Zeit, die du hier für die unqualifizierten Kommentare geopfert hast, die hättest du sicher produktiver einsetzen können.
@wiesi200 nur weil ich amortisiert geschrieben habe, bedeutet nicht, dass es ein Business-Projekt oder Produktivsystem ist. Zum testen muss man oft einen kleinen Betrag ausgeben und wenn sich das nur zum Teil amortisiert, dann ist doch gut.
@firefly danke für die hilfreichen Infos
Bei NordicMike ist die Ablehnung dieser Technologie gegenüber in jedem seiner Sätze deutlich erkennbar. Danke trotzdem für deine wertvolle Zeit, die du hier für die unqualifizierten Kommentare geopfert hast, die hättest du sicher produktiver einsetzen können.
1unqualifizierten Kommentare
Man spürt deutlich den AngriffsmodusIch habe nur eine Frage gestellt:
Welche Ergebnisse versprichst du dir davon?
Das ist nicht unqualifiziert, sondern erst einmal neutral.Und wenn ich behaupte, dass man eine Liste mit Zahlungszielen mit Excel macht (nicht einmal wirklich damit), und nicht mit KI, dann erwarte ich ein Gegenargument. Das nennt man dann eine kontroverse Unterhaltung.
Kommt mal runter von Eurem hohen Ross.
Ich verspreche mir gar nichts. Es ist ein Test ohne irgendwelche Anforderungen oder Problemstellungen vorher zu definieren. Meine Beispiele waren rein fiktiv. Excel ist ein sehr gutes Beispiel für ein schlechtes Beispiel. Die Anwendung wird zu oft als DB missbraucht.
Und ja, hier kann auch eine KI helfen, wenn ich nur eine Frage stelle, z.B. "welches Zahlungsziel ist für Lieferant Meyer für Tochergestellschaft xyz vereinbart?". Nicht jeder MA ist ein Lexikon und weiß wo diese Infos zu finden sind.
Und ja, hier kann auch eine KI helfen, wenn ich nur eine Frage stelle, z.B. "welches Zahlungsziel ist für Lieferant Meyer für Tochergestellschaft xyz vereinbart?". Nicht jeder MA ist ein Lexikon und weiß wo diese Infos zu finden sind.
Ich fand https://media.ccc.de/v/clt24-186-wie-funktioniert-chatgpt-gibt-es-das-au ... sehr aufschlussreich. Das Video hat dem Thema KI die "Mystik" genommen und ich verstehe nun einigermaßen, was ein Sprachmodell überhaupt ist und wie KI funktioniert. Ausserdem gibt es einen praktischen Teil in dem ein KI-Modell auf einem PI gestartet wird und man dann ganz ChatGPT mäßig mit dem Modell "sprechen" kann.
Seitdem läuft bei uns auf einem Server eine Mistral Instanz mit susi.ai. Leider ist die HW nicht wirlich KI tauglich (scheinbar ist selbst ein PI besser) und Zeit/Budget sind aktuell begrenzt um sich näher damit zu beschäftigen. Ich hoffe dass im Herbst noch ein wenig Kohle übrig ist, dann würden wir unser DMS einmal mit einbinden und schauen wie wo sich praktische Anwendungen ergeben. (vermutlich in der Recherce von Altinformationen)
Ansonsten hat unsere FiBu auch ein KI-Modul und über Machine-Learning hilft es beim Buchen von Rechnungen schon sehr gut
Seitdem läuft bei uns auf einem Server eine Mistral Instanz mit susi.ai. Leider ist die HW nicht wirlich KI tauglich (scheinbar ist selbst ein PI besser) und Zeit/Budget sind aktuell begrenzt um sich näher damit zu beschäftigen. Ich hoffe dass im Herbst noch ein wenig Kohle übrig ist, dann würden wir unser DMS einmal mit einbinden und schauen wie wo sich praktische Anwendungen ergeben. (vermutlich in der Recherce von Altinformationen)
Ansonsten hat unsere FiBu auch ein KI-Modul und über Machine-Learning hilft es beim Buchen von Rechnungen schon sehr gut
1
@Michi91 das Thema mit dem DMS ist interessant. Unser eigenes DMS hat zwar eine durchaus potente Suchfunktion aber wenn ich z.B. nach einem Switch suche, dann bekomme ich Ergebnisse für alle unsere GmbH und Fachabteilungen, da die Kostenstelle nicht als Feld im DMS vorhanden ist. Selbst bei Filter "Firma" sind zu viele Ergebnisse.
Ne KI wird dir da aber auch keine anderen Ergebnisse liefern können. Wenn keine Informationen vorhanden sind die diese abgreifen kann, werden dies auch nicht herbei gezaubert.
Wir haben sehr viel Schriftverkehr (Briefe, Sitzungsprotokolle, Beschlüsse, etc. )im DMS aus unseren Fachanwendungen, gesammelt und ich erhoffe mir Hilfe bei Recherche zu bestimmten Themen ( "Erstelle mir eine Zusammenfassung über den Fall XY", "Schreibe mir ein Antwortschreiben auf folgende Anfrage. Verwende die Fälle X, Y,Z als Hilfe"). Im ersten Step werde ich vermutlich einfach nur die OCR Daten aus den ganzen Dokumenten einlesen.
@wiesi200 hat natürlich recht, irgendwo muss die Information vorhanden sein. Aber wenn sie irgendwie vorhanden ist, ist ein Text-Completion KI sicherlich deutlich pfliffiger als jede filterbasierte Suche.
@wiesi200 hat natürlich recht, irgendwo muss die Information vorhanden sein. Aber wenn sie irgendwie vorhanden ist, ist ein Text-Completion KI sicherlich deutlich pfliffiger als jede filterbasierte Suche.
@wiesie200 die Informationen sind vorhanden, die KI kann Anhand von Lieferant, Firma, Bestellposition und anderen Angaben eine logische Verknüpfung bilden und so die Ergebnisse liefern, die passender sind. Es muss nur trainiert werden aber von solchen Dokumenten haben wir genug.
Zitat von @DerMaddin:
@wiesie200 die Informationen sind vorhanden, die KI kann Anhand von Lieferant, Firma, Bestellposition und anderen Angaben eine logische Verknüpfung bilden und so die Ergebnisse liefern, die passender sind. Es muss nur trainiert werden aber von solchen Dokumenten haben wir genug.
@wiesie200 die Informationen sind vorhanden, die KI kann Anhand von Lieferant, Firma, Bestellposition und anderen Angaben eine logische Verknüpfung bilden und so die Ergebnisse liefern, die passender sind. Es muss nur trainiert werden aber von solchen Dokumenten haben wir genug.
Beispiel: das Wort "switch" kann alles Mögliche sein, nicht nur ein Netzwerswitch sondern auch ein Schalter in der englischen Sprache. Wenn ich aber explizit nach einem Netzwerkswitch suche, dann können einige nicht IT-Lieferanten ausgeschlossen werden und als Empfänger einige unserer Tochtergesellschaften, da dort so etwas nicht bestellt wird.
Und da haben wir schon mal ein Problemchen. Das muss erstmal Trainiert werden. Das wird einiges an Arbeit werden. Auch die Verknüpfungen zu den Datenbanken geht nicht von selbst
Ja, du hast Recht, ich werde meinen Test begraben bevor es angefangen hat. Das hat alles keinen Sinn, denn es ist mit Arbeit verbunden. Nee, ich hasse arbeiten, ich mach Feierabend, ach was ich schmeiße alles hin... /ioff
Och Leute... KI ist seit 2022 Bestandteil von ML.NET und das hier funktionoiert bis auf einen kleinen Schluckauf.
https://dotnet.microsoft.com/en-us/learn/ml-dotnet/get-started-tutorial/ ...
Man braucht Windows 11 oder Server 2022 dafür, Visual Studio 2022 Community und sonst rein garnichts ... es sind Beispiele aus allen Disziplinen der AI vorhanden, kann man bei Github runterladen, fertig. Es gibt auf Udemy oder Linkedin Tutorials, oder das oben Verlinkte von Microsoft.
Es ist aber auch anzuraten, sich mal mit dem Thema Data Science zu beschäftigen um die halbwegs einfachen Aufgaben (Zahlenreihen nach Mustern durchforsten) und die komplexen Auftgaben mit hohem Trainigsa- und Ressourcenbedarf unterschieden zu heofel.
Das Beispiel oben geht um Textextraktion, also eine Deep Learning Aufgabe, die mit virtuellen neuronalen Netzen erleidgt wird. Läuft auf jeder Gurke und 1000 Sätze... sind in einer Minute trainiert. Wenn das Ergebnis schlecht ist, einfach das Training nochmal laufen lassen und die Qualität steigt von 70% richtig auf 95% Richtig.
Das probiert man alles mal aus, und entscheidet dann was man davon mit geringem Aufwand anwenden kann und was man lieber läßt.
Zuguterletzt ist das seitens ML.net. ONNX, PyTorch und LightGBM alles open source, Freeware. Man muß viel davon kompilieren, das heißt wiederum man muß mit dem Visual Studio umgehen können bis man mal Beispiele ausprobieren kann, die NICHT von Microsoft stammen.
Beruflich wollte ich ein ML HelloWorld basteln das von einer Applikation aus trainiert werden kann um dann mit Echtdaten zu arbeiten...
https://dotnet.microsoft.com/en-us/learn/ml-dotnet/get-started-tutorial/ ...
Man braucht Windows 11 oder Server 2022 dafür, Visual Studio 2022 Community und sonst rein garnichts ... es sind Beispiele aus allen Disziplinen der AI vorhanden, kann man bei Github runterladen, fertig. Es gibt auf Udemy oder Linkedin Tutorials, oder das oben Verlinkte von Microsoft.
Es ist aber auch anzuraten, sich mal mit dem Thema Data Science zu beschäftigen um die halbwegs einfachen Aufgaben (Zahlenreihen nach Mustern durchforsten) und die komplexen Auftgaben mit hohem Trainigsa- und Ressourcenbedarf unterschieden zu heofel.
Das Beispiel oben geht um Textextraktion, also eine Deep Learning Aufgabe, die mit virtuellen neuronalen Netzen erleidgt wird. Läuft auf jeder Gurke und 1000 Sätze... sind in einer Minute trainiert. Wenn das Ergebnis schlecht ist, einfach das Training nochmal laufen lassen und die Qualität steigt von 70% richtig auf 95% Richtig.
Das probiert man alles mal aus, und entscheidet dann was man davon mit geringem Aufwand anwenden kann und was man lieber läßt.
Zuguterletzt ist das seitens ML.net. ONNX, PyTorch und LightGBM alles open source, Freeware. Man muß viel davon kompilieren, das heißt wiederum man muß mit dem Visual Studio umgehen können bis man mal Beispiele ausprobieren kann, die NICHT von Microsoft stammen.
Beruflich wollte ich ein ML HelloWorld basteln das von einer Applikation aus trainiert werden kann um dann mit Echtdaten zu arbeiten...
1
Zitat von @wiesi200:
Ich weiß das wir für unser SAP so etwas in den nächsten Jahren bekommen werden. Nur sitzen das ein paar tausend Inder die an so etwas hin arbeiten und wird Millionen an Entwicklungsaufwand kosten.
Ich weiß das wir für unser SAP so etwas in den nächsten Jahren bekommen werden. Nur sitzen das ein paar tausend Inder die an so etwas hin arbeiten und wird Millionen an Entwicklungsaufwand kosten.
SAP Business AI ist doch schon verfügbar
Ich würde mal sagen. NaJa, Sie basteln dran. Was ich bis jetzt an Integration gesehen hab ist noch überschaubar.
@GrueneSosseMitSpeck mir ist nicht klar wie der Zusammenhang zwischen einem LLM und dem ML.NET ist. Und dann noch der Code-Teil, damit komme ich Null klar.
1
Zitat von @DerMaddin:
Ja, du hast Recht, ich werde meinen Test begraben bevor es angefangen hat. Das hat alles keinen Sinn, denn es ist mit Arbeit verbunden. Nee, ich hasse arbeiten, ich mach Feierabend, ach was ich schmeiße alles hin... /ioff
Ja, du hast Recht, ich werde meinen Test begraben bevor es angefangen hat. Das hat alles keinen Sinn, denn es ist mit Arbeit verbunden. Nee, ich hasse arbeiten, ich mach Feierabend, ach was ich schmeiße alles hin... /ioff
Ein sehr vernünftiger Entschluss! Stattdessen mehr das Leben genießen - mit der Familie. Täglich ein paar Stunden hedonistischer Freude mit gleichgesinnten Menschen (m/w/d).
Bei der jüngeren Generation ist das Thema Arbeit sowieso schon komplett aus der Mode. Da heißt es: "Sollen doch die, die das Betriebskapital besitzen, auch den ganzen Schei* selbst machen!"
Heute will sich niemand mehr kaputt malochen und mit krummem Rücken mit 50 Jahren (oder schon viel früher) am Herzinfarkt sterben.
Vorbildlich das!