GovDeskPilot - Fokussiert Ihr Wissen
Materna ist mit rund 4.500 Mitarbeitenden und einem Umsatz von 793 Millionen Euro einer der führenden IT-Dienstleister Deutschlands. Seit mehr als 40 Jahren begleitet Materna Organisationen aus dem Public Sector, regulierten Branchen und der Industrie bei der Digitalisierung geschäftskritischer Prozesse und Systeme. Dabei verbinden wir strategische Beratung, technologische Expertise und umfassende Umsetzungskompetenz aus einer Hand.
Mit unserer Unternehmensstrategie Elevate verfolgt Materna das Ziel, zu den führenden europäischen Anbietern für KI-gestützte Digitalisierung zu gehören. Künstliche Intelligenz ist dabei der zentrale Hebel, um Wissen verfügbar zu machen, Prozesse zu beschleunigen und Organisationen leistungsfähiger zu machen.
Unsere Vision für KI ist es diese Technologie in jedes Fachverfahren und Fachprozess zu integrieren, um den Menschen in seiner jeweiligen Rolle (Mitarbeitenden in Behörden und Unternehmen oder Bürger) aktiv in der täglichen Arbeit zu unterstützen.
Der Kern unseres Angebots ist die sichere und praxisnahe Einführung von KI in geschäftskritischen Dokumenten- und Wissensprozessen. Unsere Lösung ist bewusst modular aufgebaut und basiert auf etablierten Open-Source-Komponenten, die je nach Anforderungen flexibel kombiniert, erweitert und bei Bedarf ausgetauscht werden. Durch die gezielte Individualisierung wird die Lösung an die jeweiligen Prozesse, Systeme und Rahmenbedingungen angepasst. Unser Anspruch ist es, Organisationen langfristig zu befähigen, ihr Wissen datenschutzkonform nutzbar zu machen und KI mit messbarem Mehrwert in den produktiven Alltag zu bringen.
Unsere Lösung ermöglicht einen sicheren und effizienten „Chat mit Unternehmensdaten“ über unterschiedliche Systeme hinweg. Mit unserem GovDeskPilot wurde der Zugriff auf DMS-/ECM-Systeme bereits erfolgreich realisiert. Nutzende können ihre Dokumentbestände durchsuchen, analysieren und kontextbezogen abfragen. Die Lösung kann so die Effizienz in der Sachbearbeitung steigern und schafft gleichzeitig eine sichere, transparente und skalierbare Grundlage für den KI-gestützten Wissenszugriff der Zukunft.
Basis unserer Lösung ist eine zentrale, sichere und intelligente Wissensplattform, die es Nutzenden ermöglicht, alle relevanten Informationen ihres Unternehmens intuitiv per Chat zu erschließen – unabhängig davon, in welchem System oder Format diese vorliegen. Dabei steht ein Prinzip im Mittelpunkt: „Wissen nutzen, ohne Sicherheit zu kompromittieren.“
Durch eine konsequent berechtigungsgesteuerte KI-Architektur wird sichergestellt, dass jeder Nutzer ausschließlich die Informationen erhält, die er auch sehen darf – nahtlos, kontextbezogen und in Echtzeit.
Langfristig entwickeln wir eine Lösung, die:
Datensilos überwindet und Informationen systemübergreifend vernetzt
fachliche Prozesse aktiv unterstützt, nicht nur Informationen liefert
sich flexibel an neue Anforderungen, Datenquellen und KI-Modelle anpassen lässt
vollständig in bestehende IT- und Sicherheitsstrukturen integriert ist
So entsteht eine vertrauenswürdige KI-Assistenz, die den Arbeitsalltag nachhaltig von der reinen Informationssuche hin zu einer effizienten, sicheren und intelligenten Entscheidungsunterstützung verändert.
Unsere Lösung ist kein vorkonfiguriertes Standardprodukt. Sie besteht aus einzeln produktionsreifen Open-Source-Komponenten (Apache 2.0 / MIT), die projektspezifisch zu einer Gesamtarchitektur integriert werden. Die Einzelkomponenten sind marktreif und breit im Einsatz. Die Integration zur durchgängigen, berechtigungsgesteuerten RAG-Pipeline befindet sich in der Prototyp-Phase und wird im Rahmen des Pilotprojekts ausgebaut.
Im Gegensatz zu anderen Lösungen zeichnet sich unser komponentenbasierter Ansatz vor allem dadurch aus, dass
ein durchgehendes Security Trimming gewährleistet, nur die Inhalte zu verarbeiten und zusammenzuführen, auf die für den Nutzenden ein Zugriffsrecht besteht. Ein zeitaufwändiges abschließendes Bereinigen entfällt.
Erweiterungen, Anpassungen und Schnittstellen zu weiteren Drittsystemen im Projekt einfach zu realisieren sind
keine versteckten Kosten durch Freischaltungen erweiterter Funktionalitäten entstehen.
Jede unserer Komponenten ist einzeln austauschbar, Berechtigungsfilterungen werden auf Chunk-Ebene implementiert und alle Enterprise-Funktionen (IAM (Identity & Access Management), Monitoring, Audit) stehen ohne Lizenzkosten zur Verfügung.
Komponenten des Ansatzes:
vLLM (v0.22+):
Funktion: LLM-Serving, OpenAI-kompatible API
Reifegrad: 82.000+ Stars
Aktuelles europäisches LLM Mistral Small 4:
Funktion: Sprachmodell (MoE, 119B Param., 8B aktiv/Token, 256k Kontext, multimodal)
Reifegrad: Apache 2.0, Mistral AI
Qdrant (v1.18+):
Funktion: Vektordatenbank, Hybrid Search, Payload-Filterung
Reifegrad: 31.000+ Stars
BGE-M3 / bge-reranker-v2-m3:
Funktion: Embedding (dense+sparse) und Reranking
Reifegrad: MIT
Tika + Tesseract 5:
Funktion: Textextraktion (1000+ Formate) und OCR (LSTM)
Reifegrad: Apache Foundation
Keycloak (v26+):
Funktion: IAM mit AD/LDAP-Federation
Reifegrad: CNCF, 34.000+ Stars
LlamaIndex (v0.14+):
Funktion: RAG-Orchestrierung
Reifegrad: 50.000+ Stars, MIT
NeMo Guardrails:
Funktion: Eingabe-/Ausgabeprüfung
Reifegrad: NVIDIA, Apache 2.0
Langfuse:
Funktion: LLM-Observability (Self-Hosted)
Reifegrad: 28.000+ Stars, MIT
Prometheus + Grafana:
Funktion: Infrastruktur-Monitoring
Reifegrad: CNCF Graduated
Helm + ArgoCD:
Funktion: GitOps-Deployment auf Kubernetes
Reifegrad: CNCF
Ablauf-Szenario:
Dokumentenaufnahme: Konnektoren lesen Quellsysteme. Tika/Tesseract extrahieren Text. Semantisches Chunking, Berechtigungen als AD-SIDs auf jedem Abschnitt.
Abfrage: Authentifizierung (Keycloak) → Eingabeprüfung → Hybridsuche mit Berechtigungsfilter → Reranking → LLM-Antwort → Ausgabeprüfung → Antwort mit Quellennachweis.
Nachvollziehbarkeit: Unveränderlicher Audit-Trail, Infrastruktur-Monitoring, LLM-Metriken.
Mit dem GovDeskPilot, unserem Baukasten für die übergreifende Anbindung von unterschiedlichen Datenquellen, wurde eine Assistenzplattform für Nutzende umgesetzt, die den fachlichen „Chat mit Dokumenten“ über bestehende DMS-/ECM-Bestände ermöglicht.
Als Datenquellen wurden bereits die Systeme nscale (Ceyoniq Technology GmbH) und d.velop documents (d.velop AG) angebunden. Die Inferenz erfolgte On-Premises.
Die Anbindung von Modellen und MCP-Servern (MCP: Model Context Protocol) ist modular ausgelegt, sodass Ollama- und OpenAPI-kompatible Modellendpunkte sowie zusätzliche MCP-Server flexibel integriert werden können.
Bereits erfolgreich eingesetzte bzw. validierte Szenarien sind insbesondere:
Dokumenten- und Vorgangschat in der Sachbearbeitung: Fachfragen zu Akten, Vorgängen und Dokumenten werden direkt im Arbeitskontext beantwortet; Informationen aus nscale und d.velop documents werden zusammengeführt.
Effiziente Aufbereitung komplexer Unterlagen: Umfangreiche Schriftstücke werden strukturiert zusammengefasst, relevante Inhalte schneller auffindbar gemacht und Bearbeitungsschritte unterstützt.
Betrieb, Administration und Authentifizierung: Integration in bestehende Identitäts- und Berechtigungsstrukturen (z. B. Keycloak), nachvollziehbare Protokollierung, Monitoring sowie transparente Fehler- und Statusmeldungen für den laufenden Betrieb.
Web-Oberfläche: Im Rahmen der Realisierung der Web-Oberfläche wurde das Thema Barrierefreiheit berücksichtigt, so dass die Web-Oberfläche gut zugänglich ist.
Die nächste Ausbaustufe des GovDeskPilots sieht die übergreifende Suche über die angebundenen Datenquellen durch Anbindung unserer berechtigungsgesteuerten RAG-Pipeline vor, die alle angebundenen Datenquellen intelligent miteinander verbindet.
Unsere Lösung GovDeskPilot zeigt bereits heute, wie auf unterschiedliche Datenquellen zugegriffen und Informationen zusammengeführt werden können. Aufbauend darauf stellt eine berechtigungsgesteuerte RAG-Pipeline (Retrieval-Augmented Generation) den nächsten logischen Entwicklungsschritt dar. Sie ermöglicht es, den Datenzugriff konsequent im jeweiligen Benutzerkontext zu steuern und gleichzeitig eine übergreifende Suche in einer produktunabhängigen sowie leicht zugänglichen Web-Oberfläche bereitzustellen.
Eine der größten Herausforderungen liegt dabei in der Qualität der zugrunde liegenden Daten. Unterschiedliche Datenquellen, uneinheitliche Strukturen und potenziell veraltete oder unvollständige Informationen können die Leistungsfähigkeit der Lösung erheblich beeinflussen und erfordern gezielte Maßnahmen zur Datenaufbereitung und -pflege.
Demgegenüber stehen jedoch bedeutende Synergien. Durch den Einsatz von KI wird eine tiefgreifende Durchdringung großer und heterogener Informationsmengen möglich, die ohne entsprechende Unterstützung kaum realisierbar wäre. Zudem bietet die Nutzung selbstbetriebener KI-Modelle in einer On-Premises-Umgebung den Vorteil, dass die entstehenden Kosten besser kalkulierbar bleiben und gleichzeitig höhere Kontrolle über Daten und Infrastruktur gewährleistet ist.
Der Einsatzfall erfordert die Zusammenführung heterogener Dokumentenbestände, vollständigen On-Premises-Betrieb ohne externen Datenabfluss sowie die durchgängige Berücksichtigung bestehender Zugriffsberechtigungen.
Insbesondere die Anforderung an dokumentenabschnittsgenaue Berechtigungsfilterung (Security Trimming) wird von verfügbaren integrierten RAG-Plattformen nicht abgedeckt. Der komponentenbasierte Ansatz ermöglicht die Umsetzung dieser Anforderung, da die Berechtigungslogik direkt in die Vektordatenbank integriert wird (AD-SIDs als Payload-Filter in Qdrant). Pre-Query-Filterung über AD-SIDs ist ein bewährtes Verfahren aus Enterprise-Search-Projekten.
Unsere Lösung baut gezielt auf vorhandenen Stärken unserer ECM-Kompetenz auf. In der Dokumentenverarbeitung werden etablierte Verfahren wie Textextraktion und OCR nahtlos genutzt und um zusätzliche Schritte für die semantische Suche ergänzt. Dazu zählen insbesondere die strukturierte Aufbereitung der Inhalte durch geeignete Chunking-Strategien sowie die gezielte Anreicherung mit Metadaten, um eine präzisere und kontextbezogene Informationsbereitstellung zu ermöglichen.
Auch im Bereich der Konnektor-Entwicklung wird die bestehende Expertise effektiv genutzt. Unterschiedliche Datenquellen werden über ein einheitliches Interface angebunden. Im Pilotprojekt werden zwei Systeme erfolgreich integriert und weitere Quellen können ohne Anpassung der Kernarchitektur ergänzt werden. Dies schafft eine skalierbare und zukunftssichere Grundlage für die kontinuierliche Erweiterung der Plattform.
Unser wachsender Prototyp für die On-Premises-Lösung KI-RAG-Plattform deckt einen Großteil der Anforderungen der JEN im Standard ab. Wesentliche technologische Grundlagen stehen als Out-of-the-Box-Funktionalitäten in Form von erprobten, produktionsreifen Open-Source-Komponenten zur Verfügung. Ebenso sind essenzielle Basisfunktionen, darunter semantisches Chunking, präzises Prompting, exakte Quellenreferenzierung sowie integrierte Evaluations-Frameworks zur kontinuierlichen Qualitätssicherung standardmäßig implementiert. Diese Basis ermöglicht einen schnellen und sicheren Start in den Pilotbetrieb.
Übersicht über die Abdeckung der Anforderungen:
1) Bereitstellung einer sicheren On-Premises KI-RAG-Plattform ('Chat mit Dokumenten') mit ausschließlich lokal betriebenen Modellen und Inferenzkomponenten ohne unkontrollierten Datenabfluss:
Standardabdeckung:
Im Standard abgedeckt
Ausbaupfad:
Keine Anpassung erforderlich
2) Rollen- und berechtigungsbasierter Zugriff auf Basis bestehender AD-Strukturen
Standardabdeckung:
Einfache und nicht dynamische Zugriffe sind im Standard abgedeckt
Ausbaupfad:
Die Einbindung komplexer Zugriffsstrukturen kann bei Bedarf geprüft werden.
3) Anbindung diverser Datenquellen (SharePoint, Fileshares, DMS, Intranet, Datenbanken) sowie Unterstützung von semantischer und klassischer Suche
Standardabdeckung:
Hybride Suchfunktionen (semantisch/klassisch) sind im Standard vorhanden.
Ausbaupfad:
Anbindung kundenspezifischer Datenquellen.
4) Verarbeitung verschiedener Dokumenttypen (PDFs, Office, Bilder) sowie Umgang mit Versionen und Dubletten
Standardabdeckung:
PDFs, Office-Dokumente sowie Versionierungs- und Dublettenlogik im Standard abgedeckt
Ausbaupfad:
Integration spezialisierter Extraktionslogiken für komplexe, proprietäre Dokumente und Bilder
5) Nachvollziehbare, quellenbasierte Auskünfte und transparente Reaktion bei fehlender Quellenlage
Standardabdeckung:
Im Standard abgedeckt
Ausbaupfad:
Keine Anpassung erforderlich
6) Modulare und erweiterbare Architektur, Skalierbarkeit und offene Schnittstellen
Standardabdeckung:
Im Standard abgedeckt
Ausbaupfad:
Keine Anpassung erforderlich
7) Logging, Monitoring, Auditierbarkeit, Backup Restore sowie praktikable Administrierbarkeit durch das Eigenpersonal der JEN
Standardabdeckung:
Im Standard abgedeckt
Ausbaupfad:
Keine Anpassung erforderlich
8) Auslegung für die Zielgruppe von ca. 350 Personen, 30 gleichzeitige Anfragen, ca. 50 TB Daten und rund 1.000.000 Dokumente im Single-/Multi-Node-Betrieb
Standardabdeckung:
Die Architektur ist konzeptionell für die Zielgruppe ausgelegt, ist jedoch für diese spezifische Instanz noch unbestätigt
Ausbaupfad:
Validierung der Kennzahlen im Pilotbetrieb und Skalierung in Stufe 1 (Basis)
Potenzielle Lücken:
Die Anbindung stark kundenspezifischer Quellsysteme sowie die feingranulare Extraktion aus proprietären Dokumentenformaten erfordert gezielte Entwicklungsleistungen, da Standardkonnektoren diese spezifischen Strukturen nicht nativ abbilden. Die Anbindungen lassen sich normalerweise durch Customizing-Aufwände realisieren.
Einsetzbare Addons bzw. Schnittstellen zu Quellsystemen müssen verfügbar sein, den notwendigen Funktionsumfang bieten und nutzbar sein. Im Bedarfsfall sind mögliche Kompromisslösungen zu prüfen.
Zeitpläne sowie notwendige Entwicklungsschritte können sich erst nach der Analyse sowie Bewertung der jeweiligen Lücke ergeben.
Weiterentwicklung:
Als zukünftiger Ausbaupfad ist die technologische Weiterentwicklung von einem spezialisierten Agenten für die übergreifende Suche zu einem umfassenden Multi-Agenten-System (Agentic RAG) angedacht. Dieser Ansatz bewirkt, dass sich die Lösung flexibel an zukünftige, noch komplexere Rechercheanforderungen der JEN anpassen lässt.
Die nachfolgende Darstellung des Pilotvorgehens, des Implementierungsaufwands und des Betriebsmodells basiert auf unserer umfangreichen Erfahrung aus vergleichbaren Prototypen sowie dem gezielten Einsatz erprobter, produktionsreifer Open-Source-Komponenten.
Pilotvorgehen (12 Wochen):
Woche 1:
Infrastruktur: Kubernetes, GPU-Server, Basiskomponenten (vLLM, Qdrant, Keycloak)
Woche 2-5:
Datenaufnahme: 2 Konnektoren, Textextraktion/OCR, Chunking, Berechtigungs-Mapping; Ziel = ca. 10.000 Dokumente
Woche 6-8:
Integration: Hybridsuche, Reranking, Sicherheitsfilter, Backend-API, Chat-UI, AD-Integration
Woche 9-12:
Qualitätssicherung: Standard-Tests (20-50 Paare), Berechtigungstests, Dokumentation, Schulung für Pilotierung
Aufwand: Siehe geschützte Angaben -> „Aufwand für technische Implementierung und ersten Pilotbetrieb“
Betriebsmodell:
Ausschließlich On-Premises bei der JEN bzw. in der souveränen Cloud (z.B. STACKIT). Kein Datenfluss verlässt das Unternehmensnetz. Übergabe an internes IT-Team nach Abnahme inkl. Betriebsdokumentation. Laufender Aufwand: Siehe geschützte Angaben -> „Betriebsmodell“).
KI-Modelle/spezielle Funktionen im Betrieb:
Mistral Small 4:
Funktion: Frage-Antwort
Ressourcen: GPU
BGE-M3:
Funktion: Embedding
Ressourcen: GPU empfohlen
bge-reranker-v2-m3:
Funktion: Reranking
Ressourcen: CPU ausreichend
Tesseract 5:
Funktion: OCR (LSTM)
Ressourcen: CPU
Verantwortlichkeiten:
Um einen reibungslosen und sicheren laufenden Betrieb zu gewährleisten, werden die Betriebsverantwortlichkeiten zwischen Materna und der JEN klar abgegrenzt:
Infrastruktur und Basisbetrieb
Materna:
Bereitstellung der Basissoftware
JEN als Platform Owner:
Bereitstellung der IT-Infrastruktur (Computing, Storage, Backup), OS-Patching
2. Plattform und Applikation
Materna:
Plattform-Upgrades, L1/L2-Support
JEN als Platform Owner:
Verwaltung der AD-Integration und Berechtigungsstrukturen
3. KI und Optimierung
Materna:
KI-Konfiguration (Prompt-Engineering, Orchestrierung)
JEN als Platform Owner:
Betrieb der Modell-Endpunkte
In diesem Modell agiert die JEN als Platform Owner und behält die volle Kontrolle über die Kerninfrastruktur und das Identitätsmanagement. Materna stellt als Lösungspartner den Applikationsbetrieb, den Support sowie die kontinuierliche Optimierung der KI-Komponenten sicher. Dieses passgenaue Betriebsmodell ermöglicht eine praktikable Administrierbarkeit durch das Eigenpersonal der JEN und garantiert gleichzeitig eine dauerhaft hohe Antwortqualität und Systemstabilität.
Für den stabilen und performanten Betrieb der vorgeschlagenen Lösung und der von der JEN genannten gleichzeitig aktiven Nutzung (30 parallele Anfragen) empfehlen wir nachfolgende technische Basisinfrastruktur. Diese berücksichtigt typische Lastszenarien wie parallele Benutzeranfragen, die Verarbeitung und Indexierung großer Datenmengen sowie den effizienten Einsatz moderner KI-Modelle. Die Dimensionierung orientiert sich dabei an bewährten Referenzarchitekturen und stellt sicher, dass sowohl eine zuverlässige Grundlast als auch Lastspitzen ohne signifikante Performanceeinbußen bewältigt werden können.
Basisanforderungen Prototyp:
GPU:
Minimum: 4x NVIDIA H100-80GB
Empfohlen: 8x NVIDIA H100-80GB
CPU:
Minimum: 64 Kerne
Empfohlen: 128 Kerne
Arbeitsspeicher:
Minimum: 512 GB
Empfohlen: 768 GB
Storage:
Minimum: 4TB NVMe (Non-Volatile Memory Express)
Empfohlen: 8TB NVMe (Non-Volatile Memory Express)
Betrachtung Anforderung KI-Modell:
Mistral Small 4 ist ein MoE-Modell (MoE: Mixture of Experts): 119B Parameter werden im GPU-Speicher vorgehalten (ca. 60 GB bei 4-Bit-Quantisierung (INT4)), pro Token sind 8 Milliarden Parameter (8B) aktiv. Die empfohlene Konfiguration bietet ausreichend Reserve für Tensor Parallelism, KV-Cache und parallele Anfragen. CPU-only-Betrieb ist bei dieser Modellgröße nicht praktikabel.
Skalierung:
Mehr Datenquellen: Storage-Bedarf wird sich erhöhen
Wachsendes Datenvolumen: Qdrant Distributed Mode (Sharding + Replikation)
Höhere Nutzerzahlen: 4x H100 = 15-30 Nutzende | 8x H100 = 30-50+ Nutzende
Hohes OCR-Volumen: Horizontale Skalierung der Ingestion-Workers
Wir haben die folgende Projekte in diesem Umfeld:
Erklärbär (LBEG), AIDA (ITZBund), NaDiA (Amprion), SPARK, StruKI (Justiz Baden-Württemberg)
Erklärbär (LBEG):
Der Erklärbär stellt eine KI‑gestützte Q&A‑Anwendung bereit, die verteilte Organisationsdokumente verlässlich erschließt und den Mitarbeitenden präzise Antworten mit transparenten Quellenangaben liefert. Ziel ist es, Suchaufwände deutlich zu reduzieren und eine nachvollziehbare, fachlich belastbare Informationsbereitstellung im behördlichen Arbeitsalltag zu unterstützen. Der entwickelte MVP ist rollout‑bereit und erreicht im Test durchschnittliche Antwortzeiten von vier bis sechs Sekunden bei einer Treffergenauigkeit von rund 90 %. Die KI‑Anwendung umfasst unter anderem eine RAG‑Pipeline, Embedding‑Modelle, eine Vektor‑Datenbank sowie Reranking‑ und Caching‑Komponenten zur Optimierung von Antwortqualität und Laufzeit.
Die semantische Vektorsuche wird mit anschließender Antwortgenerierung durch Large‑Language‑Modelle kombiniert. Zur Qualitäts‑ und Latenzoptimierung werden Reranking‑ und Caching‑Mechanismen genutzt, wobei sich die Antwortgenerierung konsequent auf die bereitgestellten, geprüften Dokumente stützt.
AIDA (ITZBund):
AIDA unterstützt bei dem gesamten Software Entwicklungsprozess. Dabei erfolgt kein Zugriff auf externe Systeme. AIDA und die KI laufen 100% On-Premise. Zum Start gibt es KI-Assistenten für das Requirements Engineering und UI/UX Design. Im Laufe der Entwicklung helfen Code-Generierung, Fehleranalyse inkl. Unit-Tests und Debugging Assistenten. Zum Abschluss werden die notwendigen Dokumentationen erzeugt. Die Informationen liegen in unterschiedlichen Quellsysteme und werden über eine RAG-Pipeline semantisch lesbar gemacht.
NaDiA (Amprion):
NaDiA ist das Multi-Agent-System für die Netzassetdaten. Als zentrale Orchestrierungsinstanz koordiniert NaDiA spezialisierte KI-Agenten, auch von Drittanbietern, und verbindet Bestandssysteme über chat-basierte Schnittstellen. Datensilos werden überwunden, mit natürlich-sprachlichen Abfragen, automatisierten Reports und PDF-Extraktionen in einem Interface. Die Agenten arbeiten über A2A zusammen und greifen via MCP für Tools und Daten zu; RAG sorgt für die Trennschärfe der Ergebnisse. Azure Cloud Hosting mit LLMs und Identity & Access Management. Human-in-the-Loop macht NaDiA lernfähig: Abläufe werden nach Fachfreigabe als wiederverwendbare Workflows bereitgestellt.
SPARK:
SPARK ist eine KI‑gestützte Assistenzplattform zur Unterstützung von Planungs‑ und Genehmigungsverfahren in der öffentlichen Verwaltung. Ziel der Lösung ist es, komplexe, häufig langwierige Verfahren strukturierter, schneller und belastbarer zu bearbeiten, ohne dabei die Entscheidungshoheit der Verwaltung zu ersetzen. SPARK ist bewusst als unterstützendes Werkzeug konzipiert, das Mitarbeitende entlang des gesamten Prozesses begleitet und entlastet.
StruKI (Justiz Baden-Württemberg):
StruKI ist ein KI-gestütztes Assistenzsystem zur automatisierten Strukturierung und Analyse umfangreicher Gerichtsakten. Die Lösung nutzt KI-Assistenzfunktionen, um auch sehr große und komplexe Akten themenbasiert zu gliedern, Inhalte und Metadaten zu extrahieren sowie Handschrift zu erkennen. Die Informationen werden rollenbezogen strukturiert und durchsuchbar bereitgestellt (RAG & Pipeline) mit unterschiedlichen Wissensräumen inkl. Gesetze & Verordnungen.
Unser Ansatz ist konsequent auf langfristige Zukunftssicherheit, technologische Offenheit und nachhaltige Wartbarkeit ausgelegt. Statt auf proprietäre Abhängigkeiten setzen wir auf ein modular aufgebautes Ökosystem aus etablierten Open‑Source‑Technologien und offenen Standards. Dadurch stellen wir sicher, dass unsere Lösung flexibel auf neue Entwicklungen reagieren kann, ohne dass grundlegende Systemarchitekturen angepasst oder bestehende Investitionen abgeschrieben werden müssen.
Kein Vendor Lock-in:
Alle Komponenten sind Apache 2.0 oder MIT lizenziert. Kein Hardware-, Cloud- oder Modell-Lock-in. Originaldaten verbleiben in Quellsystemen, Vektorindex jederzeit rekonstruierbar.
Austauschbarkeit:
Sprachmodell:
Alternative: Jedes vLLM-kompatible Modell (200+ Architekturen)
Aufwand: Gering bis Mittel
LLM-Server (vLLM):
Alternative: z.B. TGI, SGLang, TensorRT-LLM
Aufwand: Mittel
Vektordatenbank:
Alternative: z.B. Milvus, Weaviate, pgvector
Aufwand: Hoch (Re-Indexierung)
IAM (Keycloak):
Alternative: z.B. Authentik, Zitadel
Aufwand: Mittel (OIDC-Standard)
Frontend:
Alternative: Beliebige Chat-UI, sofern ausschließlich eine Chat-Möglichkeit gewünscht ist
Aufwand: Gering bis Mittel (API bleibt)
Weiterentwicklung:
Modell-Updates: Neue Gewichte laden — kein Umbau, keine Re-Lizenzierung.
Multimodale Auswertung: Mistral Small 4 verarbeitet nativ Bilder.
Agenten-Funktionen: LlamaIndex Agents für mehrstufige Analysen.
Wirtschaftlichkeit:
Durch den konsequenten Einsatz von Open-Source-Komponenten lassen sich die laufenden Softwarekosten deutlich reduzieren und gleichzeitig Abhängigkeiten von kommerziellen Anbietern vermeiden. Ergänzend dazu sorgen lokal betriebene KI-Modelle ohne tokenbasierte Abrechnungslogik für gut kalkulierbare und planbare Betriebskosten, unabhängig von Nutzungsvolumen oder Abfragehäufigkeit. Gleichzeitig entstehen erhebliche Effizienzgewinne. Die beschleunigte Informationssuche und die Unterstützung bei der Entscheidungsfindung führen zu messbarer Zeitersparnis und Produktivitätssteigerung im Arbeitsalltag.
Langfristperspektive:
Die eingesetzten Technologien verfügen über große Communities (vLLM 82k, Qdrant 31k, Keycloak 34k Stars) und institutionelles Backing (CNCF, Apache Foundation). Die Update-Strategie ist GitOps-basiert (ArgoCD). Alle Kerntechnologien (Kubernetes, Python, React) sind breit am Markt verfügbar.
Perspektive für Multi-Agenten-System:
Die Roadmap sieht vor, in der initialen Pilotphase mit einem spezialisierten Agenten als Blueprint zu starten. Dieser Agent deckt die Kernanforderungen der Dokumentenrecherche für das Test- und Expertenteam der JEN ab. Im Anschluss entwickelt sich die Lösung schrittweise zu einem umfassenden, interoperablen Multi-Agenten-System. Verschiedene Agenten übernehmen in diesem System hochspezialisierte Aufgaben und kommunizieren effizient miteinander, um komplexe Anfragen zu lösen.
Erweiterung von Skills bzw. Anbindung weiterer Datenquellen:
Ein weiterer essenzieller Bestandteil der Roadmap ist der kontinuierliche, modulare Ausbau von sogenannten Skills. Dies beinhaltet die schrittweise Anbindung weiterer Fachsysteme, Intranet-Bereiche und Datenbanken der JEN an die KI-Plattform.
