Digitale Assistenz auf lokaler KI - made in Germany
Sprachmodelle haben sich in den letzten Jahren als transformative Technologie erwiesen, die das Potenzial hat, die Art und Weise zu verändern, wie wir arbeiten und kommunizieren. Mit der zunehmenden freien Verfügbarkeit von leistungsstarken Sprachmodellen (ChatGPT von OpenAI, LLama von Meta Mistral, Aleph Alpha etc.) können Unternehmen Prozesse vereinfachen und Mitarbeitern, sowie Kunden wertvolle digitale Assistenten an die Seite stellen um effizienter zu werden.
--> Zeitersparnis und höhere Produktivität
--> geringere Fehlerquote
--> geringere Kosten für Dienstleistungen
--> höhere Mitarbeiterzufriedenheit
Assistenten wie ChatGPT werden mit öffentlichen Daten trainiert und aktualisiert. Problematisch wird es, wenn man den digitalen Assistenzen auf interne Daten trainieren möchte, die nicht die Infrastruktur von Unternehmen verlassen dürfen oder evtl. nur bestimmten Nutzern zugänglich sind.
Hierfür müssen lokale Dateien in eine geeignete Form gebracht werden (Retrieval Augmented Generation - "RAG") und in geeigneter Form gespeichert werden. Eine Möglichkeit dafür sind Vektordatenbanken.
Auf lokaler Infrastruktur bietet sich eine neue Möglichkeit zur Nutzung dieser Technologie in einer Vielzahl von Anwendungen, besonders wenn datenschutz-sensitive Daten verwendet werden sollen.
Anwendungsbeispiele sind:
KI für die Rechtsberatung:
Chatbot für die erste Einschätzung von Verträgen
Klagen oder Rechtsprechung einschätzen
Spezielle Fragestellungen in den Bereichen:
Steuerrecht
Umweltrecht
Arbeitsrecht
Assistent für Kanzleien, Unternehmen und Banken:
Assistenz im M&A Bereich bei der Due Diligence von Unternehmen (Transaktionen, Fusionen)
Projektmanagement und Controlling:
Zusammenfassung von Meeting
Vorschlag für ToDos und Action items
Anpassungen von Projektplänen
Projektcontrolling
Vorbereitung für Steuerungskreis und Stakeholder Management
Unsere Toolbox LoQal unterstützt den öffentlichen Sektor bei der Einführung und Nutzung von generativer KI und Sprachmodellen auf lokaler Infrastruktur. Unsere Lösung konzentriert sich speziell auf die Verbesserung der digitalen KI-Assistenz in diesem Bereich und ermöglicht die Nutzung lokaler Dateien, Datenbanken und Dokumente.
Die Plattform für digitale Assistenten, die auf lokaler Infrastruktur basiert und speziell entwickelt wurde, um den öffentlichen Sektor zu unterstützen. Es integriert Sprachmodelle und KI-Technologien, um verschiedene Aufgaben wie Kommunikation, Datenverwaltung und Prozessautomatisierung effizienter und zugänglicher zu gestalten.
Wir implementieren die gesamte RAG Pipeline inkl. Sprachmodelle und Nutzeroberfläche, die für den kommerziellen Einsatz geeignet sind. Dafür verwenden wir Open Source Sprachmodelle und ermöglichen den Chat auf Basis interner, privater Daten, Dokumente und Datenbanken. Eine Oberfläche auf lokaler Hardware (Rechenzentrum, Server, Computer, Laptop) ermöglicht die Interaktion mit einem Chatbot für Frage/Antworten in spezifischen Bereichen.
Die Plattform besteht aus drei Hauptkomponenten:
Kernmodell:
Durch die agile Pipeline können vor-trainierte Open Source Modelle von Mistral, Llama etc. eingebunden werden und dank der Pipeline einfach auf die neuesten Versionen aktualisiert werden.
Datenspeicher:
Lokale Dateien und Dokumente werden in die für Sprachmodelle notwendige Sprache übersetzt (Retrieval Augmented Generation - “RAG”) und in den Kontext der Nutzerabfrage gesetzt. Dafür werden Vektordatenbanken genutzt und intelligent erweitert.
Benutzeroberfläche:
Die Browser-basierte Oberfläche bietet eine intuitive Schnittstelle zur Interaktion mit der Plattform und ermöglicht es Nutzern, die Sprachmodelle entsprechend ihren spezifischen Anforderungen einzustellen und zu nutzen.
Durch digitale Assistenzen können Arbeitsprozesse beschleunigt, vereinfacht und automatisiert werden. Wir bringen unsere Toolbox und Skills mit und implementieren diese entsprechend den spezifischen und persönlichen Anforderungen. Unser Mehrwert ist dabei die Integration dieser Assistenten in die lokale IT-Infrastruktur und Bereitstellung für Mitarbeiter.
Dabei schlagen wir folgendes Vorgehen vor:
Anforderungsanalyse bzgl. Nutzung und bestehende Daten, die dem digitalen Assistenten zugänglich gemacht werden sollen.
Entwurf eines Proof of Concept und Workflows
Integration in bestehende Infrastruktur oder Aufsetzen einer neuen Infrastruktur, die den zukünftigen Anforderungen entspricht.
Schulung von Mitarbeitern und Produktivnahme