SOMA – Single Organizational Memory Agent

Als Lösung für die von der Jülicher Entsorgungsgesellschaft für Nuklearanlagen (JEN) formulierten Challenge „Interne Dokumente sicher mit KI erschließen: On-Premises KI-RAG-Plattform für „Chat mit Dokumenten“ offeriert  die DeepReader GmbH – Expertin für KI-gestützte Dokumentanalyse, Dokumentverarbeitung und Prozessautomatisierung – in Kooperation mit dem Deutschen Forschungszentrum für Künstliche Intelligenz GmbH (DFKI) und dem Fraunhofer-Institut für Offene Kommunikationssysteme (FOKUS):
 

SOMA – Single Organizational Memory Agent

als innovative, modulare, kundenspezifisch konfigurierte, open-source-zentrische Lösungsarchitektur für die Erschließung unternehmensinterner Wissensbestände, die on-premises und nahtlos in IT-Strukturen und Arbeitsabläufe des Unternehmens integriert wird.
 

SOMA bietet eine hybrid-integrative agentische Such- und Dialoglösung, die Präzision und Effizienz klassischer RAG-Ansätze durch Einbinden strukturierter Wissenselemente (wie strukturierte Datenbanken, Wiki-artige semistrukturierte Daten, explizite Wissensgraphen) verbessert und aktuelle Prozess-Kontexte für aufgaben- und zielorientierte Antwortgenerierung nutzt.

SOMA kombiniert die Lösungsbausteine der Kooperationspartner, welche bereits in umfangreichen und mehrjährigen Produktivanwendungen bei Kunden unterschiedlicher Branchen praxiserprobt sind, und schafft so eine themen- und organisationsspezifisch optimierte Individuallösung auf Basis erprobter Standard-Bausteine und -Technologien.

Anbieter ist also ein Konsortium mit einem erfahrenen KI-Dokumentanalyse-Lösungsanbieter und -dienstleister (im Lead) plus zwei industrienah agierenden Forschungsinstituten mit umfassender Expertise in Entwurf und Umsetzung innovativer KI-Verfahren, konkret auch im Bereich öffentlicher Einrichtungen mit erhöhten Anforderungen an Datensouveränität und -Sicherheit. Detailliertere Informationen über die Konsortiumspartner und ihre durch relevante Vorprojekte belegte Kompetenz sind im Abschnitt „Referenzprojekte“ zu finden.
 

Als Kernfunktionen bietet SOMA: 

1. Das „organisationale Gedächtnis“ der JEN (das physisch über eine große Anzahl von Datenquellen, Formaten und Persistenzmechanismen verteilt ist) wird mit einer einzigen komfortablen und hochqualitativen Suchschnittstelle versehen - die physische Fragmentierung wird durch logische Vereinheitlichung überwunden. Zur Analyse und Vorverarbeitung von Dokumenten findet hier u.a. die innovative DeepReader-Technologie Einsatz.
   
   

2. Dieser universelle Zugang zum Organisationsgedächtnis (Single Organizational Memory, SOM) ist Informationsbasis für das agentische KI-Chatsystem (Single Organizational Memory Agent, SOMA), über welches Nutzende ihre Anfragen mitteilen.
   
   

3. Das benötigte Organisationswissen wird so schnell, komfortabel und verlässlich aufgefunden und in prägnanten, gemäß der konkreten Nutzer-Intention formulierten, mit Quellenangaben versehenen Antworten zusammengefasst und integriert.  
   
   

4. Eine semantische Antwortvalidierung erkennt und entfernt Antwortkomponenten, die nicht durch Quellen aus den Primärdaten fundiert sind (z.B. „Halluzinationen“).

   
   
   

5. Im Dialog können Anfrage und Ergebnis verfeinert und mit zusätzlichem Kontext angereichert werden. Sukzessive sind so auch für spezifisch-komplexe Fragestellungen exakte, verlässliche Antworten erreichbar.

Nutzende werden von der Notwendigkeit entlastet, manuell in allen relevanten Datenquellen Suchvorgänge auszuführen und sich mit obskuren Details der verschiedenen Suchfunktionen zu befassen. Das Problem der sehr inhomogenen Qualität der jeweils implementierten Suchmechanismen wird durch eine einheitlich Datenquellen-übergreifend eingesetzte, Wissensgraphen-unterstützte globale Hybridsuche überwunden, die die Vorteile unterschiedlicher Suchverfahren vereinigt.     

Ein komfortables Chat-WebUI erlaubt das Stellen von Anfragen und deren konversationale Verfeinerung. Eine Integration in ein häufig genutztes webbasiertes System (z.B. Intranet, Wiki) zwecks leichterem Zugriff ist optional möglich.
 
Organisationsübliche Authentifizierungs- und Autorisierungsabläufe und Beachtung der für die Primärdatenquellen gegebenen Zugriffsbeschränkungen werden durch enge Integration mit der bei JEN vorhandenen Identity & Access Management-Landschaft gesichert.   

Das System wird in Form kollaborierender, in Docker-Containern ausgelieferter Microservices in einer geeigneten Laufzeitumgebung on-premise installiert. Monitoring-Komponenten sorgen für Ausfallsicherheit und sammeln Lastinformationen für eventuell notwenige Adaptierung oder Erweiterung von Ressourcen.

Es wird eine langfristige, sich stufenweise vertiefende, strategische Zusammenarbeit angestrebt, die mit einer begrenzten Pilotimplementierung beginnt, und in der die spezifischen Herausforderungen der JEN gemeinsam nutzerzentrisch identifiziert und sukzessive adressiert werden - unter konsequenter Nutzung erprobter, überwiegend quelloffener Technologien, wo sinnvoll aber auch neuester Methoden aus der Forschung.

Der vorgeschlagene Lösungsansatz folgt dem RAG-Prinzip (Retrieval-Augmented Generation). Dabei werden relevante Dokumentenausschnitte aus einer Vektordatenbank abgerufen und gemeinsam mit der Benutzeranfrage an ein lokales Large Language Model (LLM) übergeben, um eine fundierte Antwort zu generieren.

Da sich gezeigt hat, dass ein klassisches RAG-Schema bei großen Dokumentmengen und komplexen Domänen die notwendige Ergebnispräzision allein nicht mehr erreicht, wird das im Unternehmen in strukturierten Quellen (Wikis, Datenbank-Schema, Verzeichnisstrukturen) verfügbare Wissen in ergänzende Wissensgraphen transformiert und zur Steuerung der Auswahl relevanter Text-Chunks und zur Qualitätssicherung der generierten Antworten verwendet; gleichzeitig werden so auch die jeweiligen Zugriffsrechte überwacht.

Die einzelnen Komponenten sind seit Jahren im Praxiseinsatz erprobt und bewährt: 
Vektordatenbank und OpenSearch Suchindex sind zum Abfragen und Erschließen großer Textmengen bewährter Standard.

Der aus vorhandenen Strukturen erzeugte Wissensgraph als Meta-Zugang zu gesammelten betrieblichen Informationen ist Herz des am DFKI entwickelten CoMem, welches branchenübergreifend seit Jahren eingesetzt und weiterentwickelt wird.

Der Agentische Chatbot FOKUS-RAG wird von Fraunhofer FOKUS in mehreren öffentlichen und privatwirtschaftlichen Anwendungen eingesetzt und hilft im Umgang mit unterschiedlichen Informationsquellen wie Dokumentarchiven und räumlich-zeitlichen Geoinformationen. 

Die Data Ingestion Komponenten der DeepReader GmbH erlauben die Analyse, Erschließung und Strukturierung aller im Unternehmenskontext zu erwartenden Dokumentinhalte und deren Transfer sowohl in Vektordatenbanken als auch in strukturierte Wissensgraphen. 

Der hohe Reifegrad der Kernkomponenten der bestehenden Lösung erlaubt belegtermaßen einen produktiven Einsatz (siehe Abschnitt „Referenzen“).

Die Verbindung der erprobten Komponenten in das angestrebte Gesamtsystem und wird unter Federführung der beteiligten, erfahrenen Forschungsorganisationen geleistet, wobei auch hierfür relevante offene Forschungsfragen weiter bearbeitet werden.

Hauptkomponenten der Lösung:
 

• OpenSearch findet als zentrale hybride Textsuchtechnologie Anwendung. Die ausgereifte Open-Source-Lösung kombiniert klassische (exakte und unscharfe) Volltextsuche mit einer Dense-Vektordatenbank und hat sich in zahlreichen Projekten auch in herausfordernden Enterprise-Umgebungen bewährt.

• CoMem stellt interne Graph- und Sparse-Vektordatenbanken basierend auf SQL, Apache Lucene und speziellen Bitfeld-Datenstrukturen zur klassischen und semantischen/graph-basierten Suche (bzw. Kombinationen davon), sowie zur Anwendung/Durchsetzung von Zugriffsrechten zur Verfügung.

• FISA-RAG: Die zentrale agentische Logik zur Steuerung des RAG-Prozesses und der Chat-Benutzeroberfläche ermöglicht eine dynamische, ggf. mehrphasige Orchestrierung der internen Such-, Antworterzeugungs- und Validierungsvorgänge in Koordination mit einer flexiblen, streaming-basierten Nutzerinteraktion.

• Das Data Ingestion Subsystem (inklusive der Data Ingestion Komponenten der DeepReader GmbH) und Adpatoren für unterschiedliche Datenquellen vermittelt  SOMA ein stets aktuelles, für die zu unterstützenden Suchvorgänge optimiertes Bild der in den angebundenen Datenquellen vorhandenen Primärdaten. Wegen großer Datenvolumina in Kombination mit erheblicher Anzahl heterogener Datenquellen müssen Updates hier bestmöglich inkrementell  und eventbasiert (in Reaktion auf Änderungen der Primärdaten) verarbeitet werden. Zur Spezifikation, Überwachung und Steuerung der erforderlichen Update-Tasks, wird das (um einen Change Broker erweiterte) OSS-Datenpipeline-Orchestrierungsframework Prefect verwendet.

• Ein on-premises LLM bildet das Fundament des generativen und agentischen Chatbot-Systems. Verwendet wird ein auf einer modernen, optimierten neuronalen Architektur basierendes open-weights-LLM, z.B. Google Gemma 4. Das LLM wird in vLLM betrieben, einer ausgereiften und verlässlichen, Enterprise-tauglichen open-source-Inferenzengine, welche sich durch Konfiguration hervorragend an die konkret gegebene Ressourcensituation und im Anwendungskontext vorherrschende Nutzungsmuster anpassen lässt. Für die Modellauswahl und -Konfiguration (z.B. auch was die Festlegung von Quantisierungsverfahren und stufe angeht) sowie die damit verbundenen GPU-Ressourcenbetrachtungen sind bei den Partnern substanzielle Erfahrungen aus ähnlich gelagerten Projekten vorhanden. 

• Flankierende Machine-Learning-Modelle: Die verwendete Vektordatenbank benötigt ein hochperformantes Embedding-Modell.  Für die Endauswahl von Suchergebnissen und deren Priorisierung wird ein hierzu spezialisiertes Re-ranking- Sprachmodell genutzt. Zum Betrieb dieser Modelle (konkret z.B. Multilingual-E5-large bzw. bge-reranker-v2-m3) wird derzeit das bewährte OSS-Paket Infinity Server genutzt, eine Konsolidierung zum durchgängigen Modellbetrieb nur noch in vLLM ist bereits in Arbeit.

Die SOMA-Architektur ist exakt für die gestellte Aufgabe -verbesserte Auffindbarkeit und Nutzbarkeit von über verschiedene Persistenzmechanismen, Systeme und Formate verstreutem Organisationswissen durch eine on-premises-Lösung- ausgelegt. Die Implementierung wird durch Integration, Konfiguration und spezifische Anpassungen und Weiterentwicklungen auf das Einsatzszenario bei JEN maßgeschneidert. 

Die DFKI-Entwicklung CoMem ist ein Wissensgraph-basiertes Metasystem, das bestehende IT-Systeme miteinander verknüpft und um weiteres Wissen ergänzt. CoMem ist insbesondere für heterogene IT-Landschaften sehr gut geeignet, da auch Nutzer-individuelle Zugriffsrechte über alle angebundenen Stores konsequent beachtet und eingehalten werden. Es erlaubt klassische sowie semantische Suche, die Verbindung mit Sprachmodellen etc. Ebenso verfügt es bereits über verschiedene Konnektoren in unterschiedlichen Reifegraden: SMB, nscale, Wikis, RDBs, wobei Berechtigungen manuell gesetzt oder über Active Directory Services bezogen werden können. (Bei DeepReader befinden sich zudem Konnektoren für bspw. SharePoint in Entwicklung.)

Unseres Wissens nach ein Alleinstellungsmerkmal ist, dass individuelle Nutzerrechte über alle angebundenen Systeme hinweg durchgehalten werden, d.h. bei Anfragen über den Wissensgraphen oder an ein Sprachmodell werden tatsächlich nur jene Informationen einbezogen, auf die die nachfragende Person (oder Agent) auch wirklich Zugriff hat. Bei den Konnektoren handelt es sich typischerweise um Eigenentwicklungen, welche, soweit verfügbar, bestehende Tools nutzen, z.B. RML zur Überführung strukturierter und unstrukturierter Daten in Wissensgraphen.

Das Prinzip virtueller Wissensgraphen kommt zum Einsatz: anstatt Daten zu duplizieren, wird “um die Quelle” eine Schnittstelle gebaut, die dynamische Abfragen ermöglicht, als handele es sich bei der Quelle um einen real existierenden Wissensgraphen, womit Standardabfragesprachen wie SPARQL nutzbar werden. 

FOKUS-RAG ist eine agentische RAG-Lösung, die von Anfang an zur Optimierung des Wissensmanagements in on-premises-Einsatzszenarien entwickelt wurde. Die Kombination unterschiedlicher, als Tools an ein Agentensystem angebundener Suchmethoden hat sich als leistungsfähiger Ansatz erwiesen, um die Vorteile unterschiedlicher Suchverfahren zu kombinieren.

Das im Praxiseinsatz befindliche System kombiniert semantische Suche und klassische Volltextsuche; die (bereits in einem internen Projekt ausgelotete) Kombination mit Graphsuche wird durch Integration mit der CoMem-Technologie vollendet. FOKUS RAG enthält ein flexibles Ingestion-Subsystem, das auf dem  Datenpipeline-Orchestrierungsframework Prefect basiert. Damit können sinnvoll abgegrenzte Teil-Prozessierungen bequem spezifiziert und an von Datenquellen oder Monitoring-Diensten generierte Change-Events gebunden werden.

Das System bietet umfangreiches Logging sowie über ein Adminstrator-WebUI Live-Überblick über den Stand aller Prozessierungen sowie Interventionsoptionen. Die leichte Konfigurierbarkeit und Nachverfolgbarkeit der Prozessierungsvorgänge wird beim „Einfahren“ der verschiedenen Datenquellen sehr nützlich dabei sein, Strategien zu definieren, um Änderungen ausreichend schnell zu verarbeiten, ohne das System durch zu häufige und zu umfangreiche Prozessierungstasks zu überlasten. 

DeepReader ermöglicht eine templatefreie Datenextraktion aus unterschiedlichsten Dokumenttypen und lässt sich als flexibel konfigurierbare Plattform nahtlos in bestehende Geschäftsprozesse und IT-Landschaften integrieren. Die modulare, hochskalierbare Architektur mit über 30 spezialisierten Services und KI-Agenten gewährleistet eine effiziente Verarbeitung großer Dokumentmengen. Im Produktivbetrieb wird die Plattform bereits von mehr als 8.000 Anwendern täglich genutzt und wurde erfolgreich in hochsicheren KRITIS-Umgebungen in Deutschland implementiert. Langjährige Erfahrung in Betrieb, Wartung und Support sichert eine nachhaltige Kundenbetreuung.

Die Plattform erfüllt hohe Sicherheits- und Compliance-Standards, wurde mehrfach durch unabhängige Penetration Tests geprüft und wird kontinuierlich mittels automatisierter Vulnerability-Scans überwacht. Regelmäßige Open-Source-Lizenzanalysen stellen die Compliance sicher. Dank cloud-nativer Architektur unterstützt DeepReader Auto-Scaling einschließlich Scale-to-Zero zur Optimierung von Ressourcen und Betriebskosten. Umfassende Monitoring-Funktionen auf Basis von Grafana und Prometheus sowie ein mehrstufiges Logging-Konzept gewährleisten zuverlässigen Betrieb und unterstützen Fehleranalyse und Audit-Anforderungen.

Die von den Konsortiumspartnern entwickelten und bereits in Teilen miteinander integrierten, komplett on-premises nutzbaren Lösungen decken die JEN-Anforderungen bereits weitreichend ab. Durch enge Integration, Konfiguration, punktuelle Weiterentwicklung und Optimierung wird im Rahmen der avisierten Zusammenarbeit eine optimale Anpassung an die Anforderungen des Auftraggebers erreicht.

Die angebotene Lösung erreicht die gewünschte Funktionalität durch Kombination der spezifischen Stärken von probabilistisch-generativer KI, formalem Reasoning über Wissensgraphen, Sparse- und Dense-Vektordatenbanken sowie effizienter Dokument-Inhaltsanalyse. Die betrachteten Originaldaten bleiben unverändert in den jeweiligen Datenquellen (von strukturierter Datenbank über semistrukturierte Wiki-Systeme bis zu unstrukturierten Dokumentkollektionen).  

Im Data Ingestion Schritt erfolgt der Aufbau der Indexstrukturen, wobei das im Wissensgraph formalisierte Domänen- und Kontextwissen bereits beim Generieren der für RAG notwendigen Text-Chunks für eine erhöhte Präzision genutzt wird. Damit werden auch sehr große Textdokumente in handhabbare Teilstücke zerlegt, wobei sowohl inhaltliche Zusammenhänge als auch zeitliche Entwicklungen durch Versionierung und Erzeugungskontext bewahrt werden.  

Bei der Anfragebearbeitung werden durch Kontext-Checks, Rechtemodell, inhaltliche Guardrails und semantische post-checks zwischen generierten Antworten incl. Quellenangaben und durch diese referenzierten Primärdaten unzulässige Ausgaben verhindert. Das Retrieval der originalen Basisdaten erfolgt über MCP-basierte Adapter dann direkt aus den Originalsystemen. Bei Anfragen, die mittels der Primärdaten gar nicht beantwortbar sind, erfolgt eine Information des Nutzers - es werden dann also keine halluzinierten Inhalte zurückgegeben.   

Das Gesamtsystem wird mit komfortablen Monitoring- und Observability-Funktionen ausgestattet, die eine Überwachung der Systemleistung und Ressourcenbelastung bzw. die Nachverfolgung von Fehlfunktionen unterstützen. Alle zentralen Services laufen unter periodischen health checks, basierend auf welchen Resilienzmechanismen Ausfälle erkennen und automatisch beheben. 
 

Die verbundenen Komponenten entsprechen Kernkompetenzen der Partner im anbietenden Konsortium. In früheren Projekten haben die Partner ihre Beiträge jeweils erfolgreich integriert und zum Praxiseinsatz geführt: Fraunhofer FOKUS und DFKI haben einen LLM-basierten agentischen Chatbot mit Retrieval auch in Geo-Datenbanken zu einem Auskunftssystem im kommunalen Bürgerdialog integriert. Auch eine Integration zwischen RAG und Wissensgraphen-Suche hat FOKUS einem anderen Vorprojekt bereits umgesetzt. Die hochleistungsfähigen Dokumentanalyse-Lösungen von DeepReader (mit Adaptern zu gängigen Datenquellen) wurden bereits mit den Wissensgraphen der Corporate Memory Lösung des DFKI kombiniert; so dass sich Data Ingestion und prozessorientiertes Informationsmanagement in großen Wissensmanagement-Systemen für Unternehmen im Bereich der Energieversorgung bewähren.   

Während sich also alle wesentlichen Ansätze des vorgeschlagenen Systems bereits in der Praxis bewährt haben und partielle Integrationen bereits vorgenommen wurden, bleibt die übergreifende Integration zwischen diesen Hauptkomponenten in dieser Form innovativ:  

Eine effiziente Large-scale-Kombination aus Wissensgraph/Graphdatenbank, Volltextindex, Sparse- und Dense-Vektordatenbanken sowie individuelle Zugriffsrechteverwaltung ist ein Multi-Model-Indexing-Problem und unseres Wissens nach noch nicht abschließend gelöst. Forschung des DFKI verfolgt hier aktuell den Weg eines unifizierten Indexraums über alle Stores. 

Unserer Erfahrung nach benötigt es für sehr große Datenmengen, wie jene aus der Ausschreibung, mehr als reines RAG, bspw. Graph-RAG oder ähnliche Ansätze. Welche RAG-Ergänzungen letztlich zum Erfolg führen und wie diese effizient umgesetzt werden können, ist ebenfalls noch Gegenstand der Forschung. Das DFKI untersucht aktuell persönliche (Personal Information Model, PIMO) bzw. Unternehmenswissensgraphen (Group Information Model, GIMO), welche auch Informationen über Arbeitskontexte und –prozesse enthalten, als Möglichkeit, den gesamten Suchraum effizient und zielgerichtet vorzustrukturieren, um so eine höhere RAG-Qualität zu erreichen. 

Die notwendigen individuellen Anpassungen umfassen insbesondere 

• die Anpassung von Konnektoren für spezifische Datenquellen der JEN. Inklusive Event-Erzeugungsmechanismen für die inkrementelle Ingestion 

• die semi-automatische Überführung vorhandener Datenstrukturen in den Wissensgraph (wobei der initiale Import automatisiert ist, das Ergebnis aber durch menschlichen Review gesichert wird) 

• die Implementierung der Berechtigungsprüfung entsprechend den bei JEN etablierten Zugriffsmodellen 

• Die Definition und Erprobung praktikabler inkrementeller Ingestion-Strategien 

• die on-premises-Integration des Gesamtsystems in die JEN-spezifische Netzinfrastruktur. 

Zum Einstieg in die Kooperation wird ein Pilotsystem als Proof of Concept umgesetzt. Hierzu erfolgt zunächst eine gemeinsame, nutzerzentrische Anforderungsanalyse für die Pilotversion, innerhalb welcher eine oder zwei der Primärdatenquellen ausgewählt (z.B. 1x strukturiert, 1x Text), eine Anzahl konkreter mit dem Pilotsystem abzudeckender Use Cases definiert und gemeinsam Zielerreichungskriterien für die Pilotphase festgelegt werden.   

Parallel dazu wird eine initiale lokale LLM-Infrastruktur errichtet, bestehend aus GPU-Server, Inferenz-Engine, LLM-Installation und -Konfiguration sowie Installation und Setup weiterer benötigter Modelle wie Embedding und Reranker.  

Im nächsten Schritt erfolgt eine erste Integration der Kernkomponenten der Partner und der Anschluss der ausgewählten Datenquellen des Auftraggebers. Im Pilotsystem wird noch kein Rollen-/Rechte-Zugriff umgesetzt, Ingestion und Zugriff werden sich daher auf firmenintern-öffentliche Daten beschränken. Diese werden aus den ausgewählten Primärdatenquellen über ein unprivilegiertes Nutzerkonto der Ingestion zugeführt. Anschließend ermöglicht der RAG-Chatbot konversationale Abfrage und Suchverfeinerung.  Im Pilotsystem wird noch keine inkrementelle Ingestion durchgeführt, sondern ein jede Nacht erfolgende Gesamtprozessierung für den oben charakterisierten Datenbestand.  Vor dem Launch der Pilotlösung werden ausführliche Tests durchgeführt, darunter auch automatisierte Lasttests. 

Für die Umsetzung der so gefassten Pilotlösung werden 3 Monate veranschlagt. Im Anschluss daran erfolgt eine gemeinsame Evaluierung (z.B. über einen Monat) unter Beteiligung der Pilotnutzer. Nutzer-Feedback wird über das Chatbot-UI erhoben, optional zusätzlich über eine Online-Befragung.  Auf Basis der daraus erhaltene Learnings werden  Schwerpunkte für die weitere Entwicklung des Systems und Optimierung ausgewählter Aspekte festgelegt.   

Nach der Pilotphase erfolgt die Weiterentwicklung des Systems zur angestrebten Komplettlösung agil und in enger Kooperation mit JEN, indem sukzessive  

• weitere Datenquellen integriert werden  

• zusätzliche Anforderungen nutzerorientiert erhoben werden (im Hinblick auf die bevorstehende Erweiterung und/oder resultierend aus der bisherigen Pilotnutzung)  

• durch das gesteigerte Datenvolumens entstehende Skalierungsfragen gelöst werden 

• die Suchqualität weiter optimiert wird, um der nicht völlig vermeidbaren subjektiven Verschlechterung für die bereits früher genutzten Datenquellen wegen des wachsenden „Heuhaufens“ entgegenzuwirken, u.a. über stärkere Integration der CoMem-Komponente 

• die übergreifenden sowie Datenquellen-spezifischen Aspekte der Zugriffssteuerung umgesetzt werden 

• auf immer stärker inkrementelle Arbeitsweise ausgerichtete Optimierungen der Data Ingestion erfolgen. Deren Orchestrierung mittels Prefect bietet mit der Möglichkeit, Teilprozessierungen bequem und feingranular zu spezifizieren, an Change Events zu binden, sowie deren Ausführung „live“ zu überwachen und umfassend zu loggen, insgesamt eine hervorragende Basis für das „Einfahren“ neu integrierter Datenquellen und das Anpassen spezifischer Update-Strategien.    

Nach der Pilotphase wird weiterhin eine automatisierte Evaluierungs-Infrastruktur aufgebaut, die mittels regelmäßig wiederholter Testläufe erlaubt, die aktuelle Antwortqualität des Systems zu quantifizieren, Regressionen zu identifizieren und das System längerfristig zu optimieren.  

Abschätzungen zu den konkreten Integrationsaufwänden z.B. pro Integration jeder Datenquelle sind mangels Detailinformationen zu den Spezifika und zur Datensituation derzeit noch nicht möglich.  

Wir gehen für die Pilotphase von eingeschränkten Anforderungen aus (Unterstützung von ein oder zwei Datenquellen mit moderatem Datenvolumen, geringe Anzahl konkurrenter Nutzer). Hierfür wird eine Single-Node-Infrastruktur ausreichen: 1 Server-CPU, 512GB RAM, 2..4 GPUs mit gesamt 96..192 GB VRAM.  

Im Interesse der reibungslosen weiteren Entwicklung empfehlen wir jedoch, bereits für das Pilotsystem eine separate Staging-Umgebung einzuplanen, d.h. die Start-Infrastruktur sollte besser 2 Server umfassen, mit jeweils 512GB RAM, sowie 4..8GPUs mit gesamt 192..384GB VRAM, SSD-Speicherplatz entsprechend zu verarbeitender Datenmenge, mindestens 20TB.  

Abschätzungen zu den Ressourcenanforderungen jenseits der Pilotphase sind mangels Detailinformationen zu den Spezifika und zur Datensituation derzeit noch nicht möglich.  

Der wesentliche Ressourcenbedarf wird primär bestimmt zum einen durch das benötigte zentrale, leistungsfähige LLM, zum andern durch die Ingestion der sehr hohen Datenvolumina. Jedoch werden sich nähere Anforderungen hierzu (z.B. Parameterzahl des LLM, um die erforderliche Antwortqualität zu erreichen, oder real bspw. pro Tag zu prozessierende Primärdaten) erst im Projektverlauf belastbar quantifizieren lassen.   

Jeder Konsortiumspartner hat bereits erfolgreiche Produktivsysteme bei zahlenden Kunden in Betrieb, womit die Praxistauglichkeit der jeweiligen Kernkomponenten und die einschlägige Kompetenz des jeweiligen Partners belegt wird. 
 

• Die DeepReader-Plattform wird bereits erfolgreich von Kunden in den Bereichen öffentliche Verwaltung, Finanzdienstleistungen, Gesundheitswesen, Energie und Telekommunikation eingesetzt. Dies sind sämtlich Branchen, die hohe Anforderungen an die Dokumentenqualität, Datensicherheit, Nachvollziehbarkeit der KI-Verarbeitung und die Einhaltung von Datenschutzbestimmungen, insbesondere der DSGVO, stellen. Die DeepReader-Plattform ist so konzipiert, dass personenbezogene Daten ausschließlich lokal verarbeitet werden, keine Daten an externe Dienste übertragen werden und die Verarbeitungsprozesse geprüft werden können. Die dort gewonnenen Erfahrungen mit heterogenen Dokumentensammlungen und komplexen Extraktionsanforderungen fließen direkt in die JEN-Lösung ein. 

• FOKUS-RAG, die Agentic-RAG-implementierung von FOKUS wurde bereits erfolgreich in einer Unternehmensumgebung mit zu JEN sehr ähnlichen Charakteristika und einer ähnlichen Nutzeranzahl (ca. 300) implementiert und ist dort in produktivem Piloteinsatz. Auch bei diesem Kunden liegt der Schwerpunkt auf Datenschutz und 100% on-premises-Betrieb, komfortabler Suche und der Verarbeitung komplexer Dokumentenstrukturen. 

  Eine weitere FOKUS-RAG-Implementierung ist innerhalb von FOKUS im Einsatz, mit ca. 100 Nutzern.  

• Ein prototypisches Organizational Memory (auch Corporate Memory, kurz CoMem) ist seit mehreren Jahren in produktiven Betrieb beim Energiedienstleister enviaM. Das Sytem enthält über 10 Mio. Dokumente und der darüber aufgespannte Wissensgraph umfasst über 200 Mio. Verknüpfungen zwischen Entitäten (Triple Statements). Weitere, jedoch unter NDA stehende Arbeiten umfassen insbesondere die Kombination aus Wissensgraphen (KG) und LLMs. In mehreren industriellen Beauftragungen zu KG & LLM-basierter Informationsextraktion wurden mit menschlicher Leistung vergleichbare Ergebnisse erzielt. (Graph)RAG-basierte Ansätze für (sehr) große Datenmengen sind noch Gegenstand aktueller Forschung. 

Weitere relevante Referenzen können im weiteren Verlauf des Anbahnungsprozesses bzw. auf Anfrage zur Verfügung gestellt werden.  

Alle Partner des Konsortiums streben eine langfristige Zusammenarbeit an, bei der JEN die Rolle eines strategischen Kunden und Partners einnehmen würde, der intensiv in Richtungsentscheidungen bei der zukünftigen Evolution der Technologie eingebunden wird. 

Zukunftssicherheit wird erzielt, indem die Partner des Konsortiums die (für sie jeweils strategisch wichtigen) Kerntechnologien langfristig auch über das hier diskutierte Vorhaben hinaus kontinuierlich entwickeln, dabei eine zukunftsgerichtete strategische Vision verfolgen, und auch weiterhin auf Standards und (weit überwiegend) auf leistungsfähige Open-Source-Komponenten setzen. 

• Technologische Kontinuität. Alle Kernkomponenten der Lösung wurden beim jeweiligen Partner bereits über lange Zeit entwickelt, sind von hoher Bedeutung für die Strategie des jeweiligen Partners, und profitieren daher auch zukünftig von Weiterentwicklungen in anderen, parallelen Vorhaben. 

  Z.B. existieren CoMem-Prototypen bereits seit mehr als zehn Jahren - in denen projektrelevante Aspekte wie die Skalierbarkeit stetig verbessert wurden. Aktuelle Forschungs- und Entwicklungsaktivitäten streben hochdynamische, aber dennoch in Nahe-Echtzeit zugreifbare Wissensgraphen mit mehreren Milliarden Knoten bei gleichzeitig Nutzer-individuellen Zugriffsrechten an. 

• Für die zukunftsgerichtete Strategie unseres Ansatzes steht unsere Vision - konkret, die Lösung sukzessive zu einer Plattform auszubauen, mittels welcher Wissen nicht nur komfortabel manuell aufgefunden und integriert werden kann, sondern wo wiederholt benötigte Prozesse der zu leistenden Wissensarbeit agentisch unterstützt ausgeführt werden. (Agentische Automatisierung von Wissensarbeitsprozessen ist nicht Gegenstand der jetzigen Challenge, wir erwarten dafür jedoch in Unternehmen wie JEN, für die Wissensarbeit das Kerngeschäft darstellt, zukünftig großen Bedarf und richten wichtige Aspekte der Lösungsumsetzung bereits strategisch darauf aus. - Weiteres unter „Geschützte Angaben“.) 

• Genutzte und avisierte Standards. In der Lösung werden diverse (formelle oder de-facto) Standards verwendet (z.B. REST, RDF, SPARQL, SQL, openAI API). Dies trägt substanziell zur Zukunftssicherheit bei, sowohl bezüglich des leichteren Austauschs vorhandener Komponenten, als auch bezüglich einer Erweiterung der Architektur um neue Subsysteme. 

  
  Für neuere (de-facto-)Standards aus dem KI-Umfeld ist eine Nutzung schon absehbar oder sogar in Vorbereitung. Für FOKUS-RAG ist z.B. aktuell eine Umstellung der Frontend-Backend-kommunikation auf den AG-UI Standard in Arbeit. Ein Ersatz des in FOKUS-RAG enthaltenen, bereits seit 2022 inhouse entwickelten Agenten-Frameworks durch ein Open-Source-Angebot mit de-facto-Standardcharakter ist geplant.

  Bei einer Erweiterung der hier angebotenen Lösung in Richtung einer agentenbasierten Wissensmanagement-Plattform (gemäß o.g. Vision) wird voraussichtlich der MCP-Protokollstandard eine wichtige Rolle spielen, um eine einfache und flexible Integration zusätzlich benötigter Tools zu unterstützen. 

• Open-Source-Fokus und emergierende Standards. Gerade im KI-Bereich ist in den letzten Jahren eine explosive Steigerung der Entwicklung und Verfügbarkeit innovativer Verfahren, Frameworks und Werkzeuge festzustellen, die quelloffen publiziert werden. Unsere Lösung baut konsequent auf die überwiegende Nutzung sorgfältig (nach Reifegrad, Community-Unterstützung und anderen Faktoren) ausgewählter Open-Source-Komponenten, anstatt durch primär poprietäre Bestandteile vendor lockin-Effekte auszulösen.  Im KI-Sektor ist auch eine schnelle Entwicklung neuer de-facto-Standards (z.B. seinerzeit MCP) festzustellen, welche die Partner intensiv beobachten, so dass auch zukünftige relevante Standards, wo sinnvoll, in der Lösung mit umgesetzt werden können.  

  
  
  Auch bestimmte Open-Source-Komponenten können den Status von de-facto-Standards erringen. Z.B. ist die in unserer Lösung verwendete Inferenz-Engine vLLM unserer Ansicht nach auf dem Wege dorthin, da sie mit einer ausgereiften, Implementierung, offenen Schnittstellen und leichtverständlichen Konfigurationsinformationen z.B. einen Export und eine Wiederherstellung einer Konfiguration in einer anderen Infrastruktur problemlos unterstützt.  

Mit den beiden Partnern aus der angewandten Forschung verfügt das Konsortium über langfristig erprobte und kritische Monitoring- und Bewertungsexpertise, die durch gute Vernetzung und kontinuierliche, offene Kommunikation innerhalb des Forschungssektors eine anderswo kaum gegebene Sensibilität aufweist und auch für die künftige Evolution der Lösung zur Verfügung steht.

So können für die Zukunft der Lösung wichtige neue Entwicklungen in der KI-Forschung ebenso wie erfolgversprechende neue Standardisierungsvorstöße zeitnah registriert werden (und analoges gilt für anlaufende Technologie-Konsolidierungsprozesse). Als Reaktion darauf können ohne Verzug sinnvolle Strategieanpassungen gemeinsam definiert und umgesetzt werden.