„Reisebericht“: Zwischen RAG und Real Life – Lokale KI im Praxiseinsatz
Ich nehme euch mit auf meine (noch lange nicht abgeschlossene) Reise. Ich zeige euch meine Erfolge, meine (mitunter dummen) Fehler, echte Gamechanger und warum ich manchmal bewusst auf den Profi-Ansatz verzichtet habe. Und wie man im Dschungel aus 2,6 Millionen Modellen die Richtigen für den eigenen Zweck finden.
**Für Einsteiger und Technisch versierte Wesen:**
*Ich beginne den Vortrag mit einer kurzen Einführung in die Terminologie/Fachbegriffe, damit auch alle folgen können, die neu in der Tech-Bubble sind.*
Ich setze mich seit 2023 intensiv mit lokaler KI auseinander – also der Nutzung von Large Language Modellen (LLMs) ohne Internetverbindung und ohne Account bei den großen Anbietern (wie OpenAI oder Anthropic) auf dem eigenen Computer.
**Inhaltliche Schwerpunkte:**
* Was sind die generellen **Vor- und Nachteile** lokaler KI im Vergleich zu ChatGPT & Co.?
* Wie lassen sich Modelle mit einem überschaubaren **Budget** lokal nutzen?
* Welche Anwendungsfälle ermöglichen einen **tatsächlichen Nutzen** im privaten und kleinst-gewerblichen Bereich?
* Wie mir LLMs helfen, Herausforderungen durch **Neurodivergenz** zu bewältigen.
* Häufige **Missconceptions** im Automatisierungsgame.
* **Evaluation** von LLMs (ohne vorher einen Doktortitel in Mathematik zu absolvieren).
* **Does it need AI?** Wie behalte ich Kosten-, Umwelt- und Datenschutzrisiken im Auge?
**Worum es NICHT geht:**
* Vergleich von Web-Diensten bzw. Closed Source / Proprietäre KI.
* Grafikkarten-Tipps.
* Die Mathematik hinter LLMs.
* Erstellung von Multimedia-Assets (Audio, Bild, Video) mit KI.
* Spekulative Diskussionen über AGI/philosophische-Bedrohungs-Szenarien.
* Juristische Analysen zu Urheberrechten.
**Tags:**
_[Lokale KI], [RAG], [LLM], [Datenschutz], [Souveränität], [Automatisierung], [Python],[n8n], [QDrant], [Embedding], [Superset], [Vektordatenbank], [Self-Hosting], [Produktivität], [Paperless-ngx], [Open Source], [Digitale Souveränität], [Neurodivergenz], [Evaluation]_
https://creativecommons.org/licenses/by-sa/4.0/