RESPEAK EXPERT – On-Premises „Chat mit Dokumenten" (RAG) mit lückenlosem Quellennachweis
Respeak (Karlsruhe/Berlin, KIT-Spin-off) entwickelt mit RESPEAK EXPERT eine Plattform für den sicheren „Chat mit Dokumenten": quellenbasierte Recherche, Suche und Zusammenfassung über eigene Wissensbestände (Retrieval-Augmented Generation, RAG). Leitprinzip ist Nachvollziehbarkeit ohne Halluzination – jede Antwort wird mit Fundstellen belegt, und bei unzureichender Quellenlage erfolgt ein transparenter Hinweis statt einer erfundenen Auskunft. Die Lösung ist modular aufgebaut und vollständig On-Premises betreibbar, mit ausschließlich lokal betriebenen Modellen.
Besonders relevant für diese Challenge: RESPEAK EXPERT wurde bereits 2025 an JEN-eigenen Dokumenten erprobt (u. a. Endlagerungsbedingungen Konrad sowie Standort- und Betriebsdokumentation) und hat dabei präzise, quellenbasiert geantwortet bzw. Wissenslücken transparent ausgewiesen.
Unsere Vision ist eine vertrauenswürdige Wissensschicht für regulierte Organisationen, die Recherche von Stunden auf Sekunden verkürzt – ohne die Kontrolle über Daten und Quellen aufzugeben.
Technisch ist EXPERT ein modularer RAG-Stack: Ingestion/OCR → Chunking → Embedding → hybride (semantische + klassische) Suche → quellenreferenzierte Antwort durch ein LLM. Nutzer arbeiten über zwei Modalitäten – Suche und Chat – auf thematischen Wissensdatenbanken. Jede Aussage wird mit Fundstellen belegt; fehlt eine belastbare Quelle, wird dies transparent gemacht statt geraten.
Reifegrad: Der Kern ist marktreif und produktiv im Einsatz (u. a. öffentlicher Sektor). Erste Erfahrung mit JEN liegt bereits vor (strukturierter Test 2025 an Endlagerungsbedingungen Konrad sowie Standort-/Betriebsdokumentation). Die On-Premises-Variante ist auf dedizierter Infrastruktur deployt; die Modellanbindung erfolgt über einen austauschbaren internen API-Endpoint, sodass von Cloud- auf vollständig lokale Inferenz (z. B. Llama-/Mistral-/deutsche Modelle via vLLM/Ollama) ohne Architekturänderung umgestellt werden kann.
Die Challenge verlangt genau das, wofür EXPERT gebaut ist: sicherer „Chat mit Dokumenten" in geschützter Umgebung, mit klarem Quellenbezug und transparentem Umgang bei dünner Quellenlage. Vier Punkte passen besonders:
1. Quellenbasierte, nachvollziehbare Antworten ohne Halluzination – im JEN-Test 2025 an Ihren eigenen Regelwerks- und Standortdokumenten demonstriert (präzise, belegte Antworten; bei fehlenden Werten ehrlicher Verweis auf die Fundstelle statt erfundener Zahl). Für ein nukleartechnisches Umfeld ist diese Auditierbarkeit das zentrale Sicherheitsmerkmal.
2. Vollständiger On-Premises-Betrieb mit ausschließlich lokalen Modellen – kein unkontrollierter Datenabfluss.
3. Semantische und klassische Suche kombiniert, mit Referenzierung der relevanten Fundstellen.
4. Pragmatischer, modularer Einstieg über einen klar umrissenen Pilot, anschließend stufenweise ausbaubar – exakt der von Ihnen gewünschte Weg.
Wir trennen bewusst transparent zwischen Standard, Pilot-Integration und Ausbau:
Im Standard heute abgedeckt: Wissensdatenbanken, semantische + klassische Suche, Chat mit Quellenangaben, transparenter Umgang bei unzureichender Quellenlage, Nutzer-/Workspace-Verwaltung, On-Premises-Deployment, austauschbare lokale Modellanbindung, Verarbeitung gängiger Dokumenttypen inkl. OCR für gescannte PDFs, SharePoint-Connector, Audit-Logging sowie Schutz vor Prompt-Injection.
Konfiguration/Integration im Pilot: Anbindung weiterer Quellsysteme (SMB-Fileshares, Intranet/Wiki, MS SQL), lokale Modell-Inferenz in Ihrer Umgebung.
Offene Punkte / Ausbaupfade mit Zeitrahmen:
– AD-basierte, berechtigungsabhängige Recherche (permission-aware retrieval): heute noch nicht im Standard – Umsetzung auf Basis Ihrer AD-Strukturen als Pilot-/Ausbauschritt.
– DMS-Konnektoren nscale/windream: keine Standardanbindung, kundenspezifische Entwicklung – realistisch im Pilot bzw. Folgeausbau (Größenordnung Wochen je Konnektor).
– Tabellengenaue Wertentnahme aus komplexen Tabellen/gescannten Dokumenten: im JEN-Test als Optimierungsfeld sichtbar geworden, adressierbar über table-aware Parsing – Pilot-Optimierung.
– Skalierung auf Zieldatenraum (~50 TB / ~1 Mio. Dokumente) und ~30 parallele Anfragen: schrittweise über Pilot → Produktiv.
Der Recherche-/Antwortkern inkl. SharePoint-Anbindung, OCR, Audit-Logging und Prompt-Injection-Schutz ist heute einsatzfähig; AD-Berechtigungstiefe, weitere Konnektoren und Skalierung sind klar benannte, planbare Schritte.
Betriebsmodell: On-Premises in Ihrer geschützten Umgebung; alle Stufen inkl. LLM-Inferenz laufen lokal; kein unkontrollierter Datenabfluss, keine externe Telemetrie. (Ein SaaS-Betrieb ist ebenfalls verfügbar, hier aber bewusst On-Premises.)
Pilotvorgehen (8–12 Wochen, kleines Test-/Expertenteam):
– Woche 1–2: On-Prem-Setup inkl. lokaler Modelle; Anbindung von 1–2 Startquellen (z. B. SharePoint + ein Fileshare) auf einem Teil-Datenraum.
– Woche 3–8: Indexierung, Retrieval-Feintuning, Übernahme der Berechtigungen, iterative Fachbewertung mit JEN-Experten (analog zum strukturierten Test 2025).
– Woche 9–12: Auswertung, Sizing- und Betriebsempfehlung, Roadmap für den Rollout.
Mitwirkung JEN: Infrastruktur/GPU-Node, Quellzugänge, AD-Anbindung, Fachexperten für die Bewertung. Der Integrationsaufwand konzentriert sich auf Quellsystem-Konnektoren und das Berechtigungs-Mapping; der RAG-Kern ist sofort einsatzfähig.
Pilot: 1 Node mit 1 GPU für lokale Inferenz (z. B. L40S-/A100-Klasse) plus Vektor-/Suchindex und Anwendungs-Container; Storage entsprechend dem Teil-Datenraum.
Produktiv (Zielbild): Multi-Node-Betrieb mit GPU-Kapazität für ~30 gleichzeitige interaktive Anfragen bei ~350 Nutzern; Storage skalierend auf den Zieldatenraum von ~50 TB / ~1 Mio. Dokumenten; für die erste Ausbaustufe Single-/Multi-Node mit Backup (Hochverfügbarkeit zunächst nicht vorausgesetzt).
Das genaue Sizing wird im Pilot anhand realer Datenmengen, Dokumentgrößen (bis ~900 Seiten) und Lastprofile bestätigt. Lokale Open-Source-Modelle vermeiden laufende externe Inferenzkosten; ein Internetzugang ist optional und kontrollierbar.
Direkt einschlägig ist JEN selbst: ein strukturierter Test von RESPEAK EXPERT im Jahr 2025 an Ihren eigenen Dokumenten (Endlagerungsbedingungen Konrad sowie Bestands-/Betriebsdokumentation) mit quellenbasierten, belegten Antworten und transparentem Umgang bei unzureichender Quellenlage.
Darüber hinaus setzen wir EXPERT im öffentlichen Sektor sowie in regulierten, dokumentenintensiven Umfeldern (Verwaltung, technische Dokumentation) ein. Weitere Referenzen sowie eine Unternehmens- und Architekturübersicht reichen wir gerne als Anlage bzw. im Jurygespräch nach.
EXPERT ist modular mit klar abgegrenzten, einzeln austausch- und upgradebaren Komponenten: LLM, Embedding, OCR/Extraktion, Vektor-/Suchindex und Konnektoren. Dadurch lassen sich neue oder bessere Modelle (auch lokal) einspielen, ohne die Plattform zu wechseln – zentral in einem sich schnell entwickelnden KI-Feld.
Offene, dokumentierte Schnittstellen und exportierbare Konfigurationen vermeiden Lock-in; durch lokale Open-Source-Modelle bestehen keine Abhängigkeiten von externen Anbietern. Die Lösung skaliert mit Datenraum und Nutzerkreis und ist um weitere Quellen und Anwendungsfälle erweiterbar.
So bleibt der Ansatz auch über 5–10 Jahre wartbar und relevant. Eine Produkt- und Release-Roadmap legen wir gerne offen.
