Souveräne Wissenserschließung
Die exorbyte GmbH mit Sitz in Konstanz ist ein unabhängiger deutscher Softwarehersteller mit mehr als 20 Jahren Erfahrung in den Bereichen Suche, Data Matching, Informationserschließung und intelligente Verarbeitung großer Datenbestände. Unsere Technologien werden in Behörden, öffentlichen Einrichtungen sowie in regulierten Branchen eingesetzt, in denen Datenschutz, Nachvollziehbarkeit und Betriebssicherheit höchste Priorität besitzen.
Für die vorliegende Herausforderung schlagen wir mit M|BOX eine vollständig On Premises betreibbare Retrieval Plattform vor, die den sicheren und nachvollziehbaren Zugang zu verteilten Unternehmensinformationen ermöglicht. Ziel ist es, internes Wissen schneller nutzbar zu machen, Informationssilos aufzubrechen und Mitarbeitende bei der täglichen Wissensarbeit durch moderne KI Verfahren zu unterstützen, ohne dabei die Kontrolle über Daten und Entscheidungsgrundlagen zu verlieren.
Im Unterschied zu vielen aktuellen RAG Ansätzen steht bei M|BOX nicht das Sprachmodell im Zentrum der Architektur. Die Grundlage bildet eine robuste Informations und Retrieval Schicht, die relevante Inhalte identifiziert, bewertet und berechtigungskonform bereitstellt. Hierzu nutzt M|BOX etablierte exorbyte Technologien zur fehlertoleranten Suche, Informationserschließung und zum Data Matching. Die Plattform ist in der Lage, Informationen aus unterschiedlichen Quellen wie SharePoint, Fileshares, Dokumentenmanagementsystemen oder Datenbanken zusammenzuführen und auch bei unterschiedlichen Schreibweisen, OCR Fehlern, Dubletten oder Versionen zuverlässig aufzufinden.
Darauf aufbauend kommen lokale KI Komponenten zum Einsatz, um Inhalte zusammenzufassen, Fragen zu beantworten und komplexe Zusammenhänge verständlich darzustellen. Ergänzt wird die Plattform durch agentische KI Verfahren, bei denen spezialisierte lokale KI Agenten parallel und voneinander isoliert auf Teilaspekten einer Fragestellung arbeiten. Dieser Ansatz erhöht die Nachvollziehbarkeit der Ergebnisse, reduziert die Gefahr logischer Fehlinterpretationen und ermöglicht eine ressourceneffiziente Nutzung lokaler KI Modelle.
Die gesamte Lösung ist auf den Einsatz in geschützten Unternehmensumgebungen ausgelegt. Sämtliche Verarbeitungsschritte können innerhalb der Infrastruktur des Betreibers erfolgen. Bestehende Berechtigungsstrukturen werden berücksichtigt und die Nutzung externer Cloud Dienste ist nicht erforderlich. Antworten werden mit konkreten Quellen und Fundstellen verknüpft, sodass die Herkunft der Informationen jederzeit nachvollziehbar bleibt.
Unsere Vision ist eine souveräne Wissensplattform, die die Stärken klassischer Enterprise Search, moderner Retrieval Verfahren und lokaler KI miteinander verbindet. M|BOX soll Organisationen dabei unterstützen, vorhandenes Wissen effizienter zu nutzen, Entscheidungsprozesse zu beschleunigen und gleichzeitig höchste Anforderungen an Sicherheit, Governance und technologische Unabhängigkeit zu erfüllen.
M|BOX basiert auf einer modularen On Premises Architektur zur sicheren Wissenserschließung und kombiniert etablierte Enterprise Technologien mit modernen agentischen KI Verfahren. Ziel ist es, Informationen aus verteilten Datenquellen zuverlässig zu identifizieren, berechtigungskonform bereitzustellen und für Fachanwender in natürlicher Sprache zugänglich zu machen.
Im Zentrum der Plattform steht die Informationserschließung. Dokumente und Daten aus unterschiedlichen Quellsystemen werden über standardisierte Ingestion Pipelines eingebunden, analysiert und für die weitere Verarbeitung aufbereitet. Unterstützt werden unter anderem SharePoint Online, OneDrive, SMB Fileshares, Dokumentenmanagementsysteme, relationale Datenbanken sowie Intranet und Wiki Systeme.
Die Retrieval und Matching Funktionen innerhalb von M|BOX basieren auf langjährig erprobten exorbyte Technologien. Diese ermöglichen eine fehlertolerante Suche sowie die Identifikation zusammengehöriger Informationen über Systemgrenzen hinweg. Dadurch können auch Dokumente mit unterschiedlichen Bezeichnungen, OCR bedingten Abweichungen, Dubletten oder Versionsständen zuverlässig erkannt und verarbeitet werden.
Ein wesentliches Unterscheidungsmerkmal unseres Ansatzes besteht darin, dass die KI nicht unmittelbar auf den gesamten Datenbestand zugreift. Stattdessen werden zunächst die relevanten und berechtigten Informationen identifiziert und zusammengestellt. Erst im Anschluss erfolgt die Verarbeitung durch lokale Sprachmodelle. Dadurch wird die Gefahr von Halluzinationen reduziert und gleichzeitig sichergestellt, dass Antworten auf belastbaren Quellen basieren.
Für die Verarbeitung umfangreicher und komplexer Dokumente setzt M|BOX ergänzend auf agentische KI Verfahren. Statt ein einzelnes Modell mit mehreren hundert Seiten umfassenden Dokumenten zu konfrontieren, werden Fragestellungen in isolierte Teilaufgaben zerlegt. Spezialisierte lokale KI Agenten analysieren diese parallel und unabhängig voneinander. Die einzelnen Ergebnisse werden anschließend aggregiert, auf Konsistenz geprüft und in einer nachvollziehbaren Antwort zusammengeführt.
Dieser Ansatz bietet mehrere Vorteile:
bessere Skalierbarkeit bei großen Dokumentenmengen,
höhere Nachvollziehbarkeit der Entscheidungswege,
geringere Anforderungen an lokale KI Infrastruktur,
reduzierte Gefahr logischer Fehlinterpretationen,
transparente Konflikterkennung zwischen unterschiedlichen Informationsquellen.
Die Plattform wurde bewusst modular konzipiert. Komponenten wie Sprachmodelle, Embedding Modelle, OCR Verfahren, Vektordatenbanken oder Konnektoren können unabhängig voneinander aktualisiert oder ausgetauscht werden. Dadurch bleibt die Lösung langfristig flexibel und unabhängig von einzelnen Herstellern oder proprietären Technologien.
Der Kern der vorgeschlagenen Lösung basiert auf marktreifen exorbyte Technologien, die seit vielen Jahren produktiv in Behörden, öffentlichen Einrichtungen und regulierten Branchen eingesetzt werden. Die zugrunde liegenden Fähigkeiten zur Informationserschließung, Suche, Identifikation und Verknüpfung großer Datenbestände sind somit praxiserprobt und produktiv bewährt.
Die agentischen Erweiterungen innerhalb von M|BOX greifen auf etablierte Prinzipien moderner Multi Agenten Systeme zurück und wurden gezielt für den Einsatz in geschützten Unternehmensumgebungen konzipiert. Die Architektur verzichtet bewusst auf die Abhängigkeit von externen Cloud Diensten oder proprietären KI Plattformen und eignet sich daher besonders für Organisationen mit hohen Anforderungen an Datenschutz, Nachvollziehbarkeit und Betriebssouveränität.
Aus unserer Sicht handelt es sich daher nicht um einen Prototypen oder ein Forschungsvorhaben, sondern um einen produktionsnahen Lösungsansatz, der auf bewährten Technologien aufsetzt und durch moderne lokale KI Verfahren erweitert wird. Die Einführung kann schrittweise über einen Pilotbetrieb erfolgen und anschließend kontrolliert zu einer unternehmensweiten Wissensplattform ausgebaut werden.
Die Anforderungen der JEN stellen hohe Ansprüche an Technologie, Betrieb und Governance. Aus unserer Sicht liegt die zentrale Herausforderung dabei nicht in der Bereitstellung eines Dokumentenchats, sondern in der zuverlässigen Erschließung großer, heterogener und historisch gewachsener Wissensbestände unter Berücksichtigung bestehender Berechtigungsstrukturen.
Genau für diese Rahmenbedingungen wurde M|BOX konzipiert.
Die Herausforderung der JEN zeichnet sich insbesondere durch folgende Faktoren aus:
verteilte Wissensbestände über mehrere Quellsysteme hinweg,
hohe Anforderungen an Datenschutz und Betriebssouveränität,
umfangreiche Dokumentenmengen mit bis zu 50 TB Datenvolumen,
sehr große Einzelokumente mit bis zu 900 Seiten,
hohe Anteile an Versionen und Dubletten,
unterschiedliche Dokumenttypen und Datenstrukturen,
langfristige Wartbarkeit durch eigenes Personal,
die Notwendigkeit, Antworten nachvollziehbar und quellenbasiert bereitzustellen.
Viele klassische RAG Lösungen adressieren primär die Interaktion mit Sprachmodellen. Die eigentliche Herausforderung der Informationserschließung wird dabei häufig unterschätzt. Gerade in sicherheitskritischen Umgebungen reicht es jedoch nicht aus, eine plausibel klingende Antwort zu erzeugen. Entscheidend ist vielmehr, dass die zugrunde liegenden Informationen korrekt identifiziert, berechtigungskonform bereitgestellt und jederzeit nachvollzogen werden können.
M|BOX begegnet diesen Herausforderungen durch die Kombination mehrerer sich ergänzender Komponenten.
Die Informationserschließung basiert auf bewährten exorbyte Technologien zur fehlertoleranten Suche und zum Data Matching. Dadurch können Informationen auch dann zuverlässig gefunden werden, wenn unterschiedliche Schreibweisen, OCR bedingte Abweichungen, Dubletten oder historisch gewachsene Datenstrukturen vorliegen. Gleichzeitig ermöglicht die Plattform die Zusammenführung fachlich zusammengehöriger Informationen über verschiedene Systeme hinweg.
Ein weiterer wesentlicher Aspekt ist die Berücksichtigung bestehender Berechtigungsstrukturen. M|BOX übernimmt die vorhandenen Zugriffsrechte aus den jeweiligen Quellsystemen und stellt sicher, dass Anwender ausschließlich auf Inhalte zugreifen können, für die eine entsprechende Berechtigung besteht. Unberechtigte Informationen werden bereits vor der eigentlichen Wissensverarbeitung ausgeschlossen.
Die Verarbeitung umfangreicher Dokumente stellt eine zusätzliche Herausforderung dar. Bei mehreren hundert Seiten umfassenden technischen Unterlagen stoßen monolithische KI Ansätze häufig an ihre Grenzen. M|BOX nutzt daher agentische Verfahren, bei denen komplexe Fragestellungen in kleinere Teilaufgaben zerlegt und durch spezialisierte lokale KI Agenten parallel bearbeitet werden. Die Ergebnisse werden anschließend zusammengeführt und auf Konsistenz überprüft.
Dadurch ergeben sich mehrere Vorteile für den beschriebenen Einsatzfall:
bessere Verarbeitung großer Dokumente,
höhere Nachvollziehbarkeit der Ergebnisse,
geringerer Ressourcenbedarf für die lokale KI Infrastruktur,
reduzierte Gefahr logischer Fehlinterpretationen,
transparente Konflikterkennung zwischen unterschiedlichen Informationsquellen.
Besonders relevant für die JEN ist darüber hinaus die vollständige On Premises Betriebsfähigkeit der Lösung. Sämtliche Verarbeitungsschritte können innerhalb der bestehenden Infrastruktur erfolgen. Unternehmensdaten verbleiben vollständig unter der Kontrolle der JEN. Eine Nutzung externer KI Dienste ist nicht erforderlich.
Die modulare Architektur ermöglicht zudem einen schrittweisen Ausbau. Die Plattform kann zunächst im Rahmen eines fokussierten Pilotbetriebs eingeführt und anschließend um weitere Datenquellen, Nutzergruppen und Anwendungsfälle erweitert werden. Damit wird dem ausdrücklich formulierten Wunsch nach einem pragmatischen Einstieg mit klarer Ausbauperspektive Rechnung getragen.
Aus unserer Sicht eignet sich M|BOX daher in besonderem Maße für die vorliegende Challenge, da die Plattform die spezifischen Anforderungen an Informationsqualität, Sicherheit, Nachvollziehbarkeit und Betriebssouveränität adressiert und gleichzeitig eine realistische Perspektive für die langfristige Nutzung und Weiterentwicklung bietet.
Die vorgeschlagene Lösung basiert auf M|BOX als modularer Wissensplattform, die auf etablierten exorbyte Technologien aufsetzt und durch lokale KI Komponenten ergänzt wird. Ein wesentlicher Vorteil dieses Ansatzes besteht darin, dass ein großer Teil der benötigten Funktionalitäten bereits heute durch Standardkomponenten abgedeckt werden kann. Gleichzeitig sehen wir die Einführung einer organisationsweiten Wissensplattform als schrittweisen Prozess, bei dem einzelne Funktionen bedarfsgerecht erweitert werden.
#### Bereits heute im Standard abgedeckte Anforderungen
Die folgenden Anforderungen werden durch die vorgeschlagene Architektur grundsätzlich unterstützt:
Betrieb und Architektur
vollständiger On Premises Betrieb aller wesentlichen Komponenten,
containerisierte Bereitstellung,
Single Node und Multi Node Szenarien,
modulare und austauschbare Architektur,
offene Schnittstellen für Integrationen.
Informationserschließung und Retrieval
klassische Suchverfahren,
fehlertolerante Suche,
Hybrid Retrieval Ansätze,
Verarbeitung strukturierter und unstrukturierter Informationen,
Bereitstellung quellenbasierter Antworten,
transparente Behandlung unzureichender Quellenlagen.
Dokumentenverarbeitung
Verarbeitung textbasierter Dokumente,
Integration lokaler OCR Komponenten,
Unterstützung von Office Dokumenten und PDFs,
Umgang mit großen Dokumentenbeständen,
Versionierung und Nachverfolgbarkeit von Verarbeitungsschritten.
Datenqualität und Wissensorganisation
Erkennung ähnlicher Inhalte,
Dublettenerkennung,
Zusammenführung fachlich zusammengehöriger Informationen,
Priorisierung relevanter Informationsquellen.
Sicherheit und Governance
Berücksichtigung bestehender Berechtigungsmodelle,
rollenbasierte Zugriffskonzepte,
Auditierbarkeit und Protokollierung,
lokale Datenhaltung,
Vermeidung externer Telemetrie.
#### Anforderungen mit projektbezogener Konfiguration
Einige Anforderungen sind grundsätzlich Bestandteil der Plattform, erfordern jedoch eine Anpassung an die konkrete Systemlandschaft der JEN:
Anbindung der spezifischen SharePoint und OneDrive Umgebungen,
Integration von SMB Fileshares,
Anbindung von nscale und windream,
Integration des bestehenden Intranets,
Einbindung relationaler Datenbanken,
Übernahme und Validierung der Berechtigungsstrukturen,
Definition fachlicher Suchprofile,
Festlegung von Qualitäts und Priorisierungsregeln.
Aus unserer Sicht handelt es sich hierbei nicht um Entwicklungsleistungen im engeren Sinne, sondern um typische Integrations und Konfigurationsaufgaben im Rahmen eines Einführungsprojektes.
#### Ausbaupfade und Weiterentwicklung
Einzelne Anforderungen würden wir bewusst stufenweise ausbauen, um Projektrisiken zu reduzieren und frühzeitig einen Mehrwert für die Anwender zu schaffen.
Phase 1 – Pilotbetrieb (8 bis 12 Wochen)
• Aufbau der Infrastruktur,
• Anbindung ausgewählter Datenquellen,
• Einrichtung der Berechtigungslogik,
• Bereitstellung erster Such und Wissensfunktionen,
• Integration lokaler KI Modelle,
• Evaluation anhand konkreter Fachfragen.
Phase 2 – Ausbau der Wissensplattform (3 bis 6 Monate)
• Erweiterung zusätzlicher Datenquellen,
• Ausbau der OCR Verarbeitung,
• Optimierung von Such und Antwortqualität,
• Erweiterung agentischer Auswertungsverfahren,
• Verfeinerung von Monitoring und Governance Funktionen.
Phase 3 – Produktiver Regelbetrieb
• Skalierung auf den vollständigen Datenraum,
• Erweiterung auf weitere Nutzergruppen,
• kontinuierliche Optimierung der Wissensorganisation,
• Integration zusätzlicher Fachanwendungen,
• Einführung neuer lokaler KI Modelle.
#### Transparente Einschätzung offener Punkte
Zum Zeitpunkt der Einreichung liegen uns keine detaillierten Informationen zu den konkreten Datenstrukturen, Berechtigungskonzepten, Dokumentqualitäten und technischen Randbedingungen der bestehenden Systeme vor.
Insbesondere bei folgenden Themen empfehlen wir daher eine gemeinsame Evaluierung im Rahmen des Pilotprojektes:
Qualität und Struktur gescannter Dokumente,
Umgang mit sehr komplexen Tabellen und Zeichnungen,
Priorisierungsregeln bei konkurrierenden Dokumentversionen,
Definition fachlicher Qualitätskriterien für KI gestützte Antworten.
Diese Punkte sehen wir jedoch nicht als grundsätzliche Hürden, sondern als typische Fragestellungen im Rahmen der Einführung einer unternehmensweiten Wissensplattform.
Zusammenfassend gehen wir davon aus, dass der überwiegende Teil der Anforderungen bereits heute durch Standardkomponenten und etablierte Technologien abgedeckt werden kann. Der Schwerpunkt eines Projektes liegt daher weniger auf Neuentwicklung als vielmehr auf Integration, Konfiguration und der schrittweisen Einführung einer sicheren und zukunftsfähigen Wissensplattform.
M|BOX wurde bewusst für eine schrittweise Einführung in geschützten Unternehmensumgebungen konzipiert. Ziel ist es, frühzeitig einen fachlichen Mehrwert zu schaffen und gleichzeitig technische sowie organisatorische Risiken zu minimieren. Aus unserer Sicht eignet sich hierfür ein fokussierter Pilotbetrieb über einen Zeitraum von acht bis zwölf Wochen.
#### Betriebsmodell
Für den beschriebenen Einsatzfall empfehlen wir einen vollständig On Premises betriebenen Ansatz. Sämtliche Komponenten von der Datenerschließung über die Such und Retrieval Funktionen bis hin zur lokalen KI Inferenz können innerhalb der Infrastruktur der JEN betrieben werden.
Dies umfasst insbesondere:
die Anbindung und Verarbeitung der Datenquellen,
die Verwaltung von Berechtigungen,
die Such und Retrieval Komponenten,
lokale Sprach und Embedding Modelle,
agentische KI Komponenten,
Monitoring und Auditierungsfunktionen.
Unternehmensdaten verbleiben damit vollständig innerhalb der Kontrolle der JEN. Eine Nutzung externer Cloud Dienste oder die Übertragung sensibler Informationen an Dritte ist nicht erforderlich. Die Architektur unterstützt darüber hinaus auch vollständig vom Internet getrennte Betriebsmodelle.
#### Pilotvorgehen
Wir empfehlen einen iterativen Pilotansatz mit klar definierten fachlichen Zielsetzungen.
Phase 1 – Vorbereitung und Zieldefinition (ca. 1 bis 2 Wochen)
Zu Beginn erfolgt die gemeinsame Auswahl eines repräsentativen Datenraums sowie die Definition konkreter Anwendungsfälle und Erfolgskriterien.
Typische Aktivitäten sind:
• Identifikation relevanter Fachbereiche,
• Auswahl geeigneter Datenquellen,
• Definition typischer Fragestellungen,
• Abstimmung der technischen Rahmenbedingungen,
• Festlegung der Bewertungsmaßstäbe.
Ziel ist es, den späteren Nutzen anhand realer Fachfragen messbar zu machen.
Phase 2 – Technische Implementierung (ca. 2 bis 3 Wochen)
Im nächsten Schritt werden die notwendigen Komponenten installiert und konfiguriert.
Dies umfasst insbesondere:
• Bereitstellung der M|BOX Komponenten,
• Einrichtung der lokalen Infrastruktur,
• Anbindung ausgewählter Datenquellen,
• Einrichtung der Berechtigungsstrukturen,
• Integration lokaler KI Modelle,
• Aufbau erster Such und Wissensfunktionen.
Die technische Implementierung erfolgt dabei weitgehend konfigurationsgetrieben.
Phase 3 – Fachliche Evaluation und Optimierung (ca. 3 bis 5 Wochen)
Anschließend erfolgt die Erprobung durch ein ausgewähltes Testteam.
Gemeinsam mit den Fachanwendern werden unter anderem folgende Aspekte bewertet:
• Qualität der Suchergebnisse,
• Relevanz der bereitgestellten Informationen,
• Nachvollziehbarkeit der Quellenangaben,
• Antwortqualität der lokalen KI Komponenten,
• Performance und Benutzerfreundlichkeit,
• Umgang mit Versionen und Dubletten.
Die Ergebnisse fließen direkt in die Optimierung der Plattformkonfiguration ein.
#### Geschätzter Integrationsaufwand
Da die wesentlichen Plattformkomponenten bereits verfügbar sind, liegt der Schwerpunkt des Projektes nicht auf individueller Softwareentwicklung, sondern auf Integration, Konfiguration und fachlicher Abstimmung.
Der konkrete Aufwand hängt insbesondere von folgenden Faktoren ab:
• Anzahl und Komplexität der Datenquellen,
• Umfang der Berechtigungsstrukturen,
• Qualität und Struktur der Dokumentenbestände,
• gewünschter Funktionsumfang im Pilot,
• Anforderungen an Governance und Monitoring.
Für einen Pilotbetrieb mit ausgewählten Datenquellen und einem begrenzten Nutzerkreis gehen wir von einem überschaubaren und gut planbaren Implementierungsaufwand aus.
#### Empfehlung für den Pilotbetrieb
Für den beschriebenen Anwendungsfall empfehlen wir einen Pilot mit:
• 10 bis 20 Fachanwendern,
• einem repräsentativen Datenraum von ca. 1 bis 2 TB,
• ausgewählten SharePoint Bereichen,
• definierten Fileshare Verzeichnissen,
• einzelnen DMS Beständen,
• ausgewählten Datenbankinhalten.
Auf diese Weise können die wesentlichen Herausforderungen der späteren Zielarchitektur bereits unter realistischen Bedingungen bewertet werden, ohne die Komplexität eines vollständigen Rollouts vorwegzunehmen.
#### Ausbau zum Regelbetrieb
Nach erfolgreichem Abschluss des Pilotprojektes kann M|BOX schrittweise erweitert werden.
Mögliche Ausbaustufen sind:
• Anbindung weiterer Datenquellen,
• Erweiterung zusätzlicher Fachbereiche,
• Ausbau agentischer Auswertungsverfahren,
• Einführung zusätzlicher lokaler KI Modelle,
• Skalierung der Infrastruktur,
• Integration weiterer Governance und Compliance Funktionen.
Durch dieses schrittweise Vorgehen entsteht eine belastbare Wissensplattform, die sich kontrolliert weiterentwickeln lässt und gleichzeitig einen frühzeitigen Nutzen für die Organisation schafft.
Eine belastbare Dimensionierung kann erst nach Analyse der konkreten Dokumenttypen, Extraktionsergebnisse, Modellwahl, Antwortzeitanforderungen und Berechtigungsstrukturen erfolgen. Für eine erste Einordnung empfehlen wir ein gestuftes Sizing, das zwischen Pilotbetrieb, erster Ausbaustufe und langfristigem Zielbetrieb unterscheidet.
Für den Pilotbetrieb über 8 bis 12 Wochen schlagen wir bewusst keinen vollständigen Datenraum vor, sondern einen repräsentativen Ausschnitt. Dieser sollte groß genug sein, um typische Dokumentarten, Datenquellen, Berechtigungen, Versionen, Dubletten und fachliche Fragestellungen realistisch abzubilden.
Für einen solchen Pilotbetrieb gehen wir typischerweise von folgenden Ressourcen aus:
1 dedizierter On Premises Server oder eine leistungsfähige virtuelle Umgebung,
alternativ 2 getrennte Systeme für Retrieval und lokale KI Inferenz,
128 bis 256 GB RAM für Indexierung, Retrieval und Verarbeitung,
schneller SSD oder NVMe Speicher für Indexe, Metadaten, Extraktionsergebnisse und temporäre Verarbeitung,
mehrere TB Speicherplatz für Pilotdaten, OCR Ergebnisse, Indexe, Embeddings, Logs und Backups,
optional eine Enterprise GPU für lokale Sprachmodell Inferenz,
stabile interne Netzwerkanbindung zu den Pilotdatenquellen.
Für kleine Expertenteams mit 10 bis 20 Nutzern kann der Pilot zunächst auf einer kompakten Infrastruktur betrieben werden. Die KI Inferenz kann je nach Modellwahl CPU unterstützt oder GPU basiert erfolgen. Für gute Antwortzeiten und deutschsprachige lokale Modelle empfehlen wir im Pilot eine GPU gestützte Umgebung. Typische Optionen wären eine Enterprise GPU wie NVIDIA L40S, A100 oder vergleichbare Hardware. Die konkrete Auswahl hängt von Modellgröße, gewünschter Parallelität und Antwortzeit ab.
Für die erste produktive Ausbaustufe empfehlen wir eine Trennung der wesentlichen Komponenten:
Datenerschließung und Ingestion,
Such und Retrieval Komponenten,
lokale KI Inferenz,
Monitoring und Protokollierung,
Speicher und Backup.
Diese Trennung verbessert Wartbarkeit, Skalierbarkeit und Betriebssicherheit. Eine Hochverfügbarkeitsarchitektur ist für die erste Ausbaustufe nicht zwingend erforderlich, kann aber später ergänzt werden.
Für den langfristigen Zielbetrieb mit ca. 1.000.000 Dokumenten, ca. 50 TB Ausgangsdaten, rund 350 Anwendern und bis zu 30 gleichzeitigen interaktiven Anfragen empfehlen wir ein skalierbares Multi Node Szenario.
Dabei ist zu berücksichtigen, dass nicht der gesamte Ausgangsdatenbestand vollständig repliziert werden muss. Für die Plattform relevant sind insbesondere:
extrahierte Texte,
Metadaten,
Berechtigungsinformationen,
Suchindexe,
Embeddings,
OCR Ergebnisse,
Protokolle und Audit Trails,
temporäre Verarbeitungsdaten.
Als grobe Planungsannahme sollte je nach Extraktionstiefe, OCR Anteil, Versionierung und Aufbewahrungskonzept zusätzlicher Speicherbedarf im Bereich von ca. 10 bis 30 Prozent des erschlossenen Datenraums eingeplant werden. Bei hohem OCR Anteil, umfangreicher Versionierung oder Speicherung zusätzlicher Analyseartefakte kann der Bedarf höher liegen.
Für 30 gleichzeitige interaktive Anfragen ist insbesondere die lokale KI Inferenz zu dimensionieren. Durch den agentischen Ansatz von M|BOX können komplexe Aufgaben auf kleinere spezialisierte Verarbeitungsschritte verteilt werden. Dadurch ist nicht zwingend ein einzelnes sehr großes Modell erforderlich. Stattdessen können kleinere lokale Modelle parallel genutzt werden, was Infrastrukturkosten planbarer macht und die Skalierung erleichtert.
Für den späteren Regelbetrieb wäre daher ein kleiner GPU Pool mit mehreren Enterprise GPUs sinnvoll. Die genaue Anzahl hängt von Modellwahl, Antwortzeitvorgaben, Kontextlängen und Nutzungsmustern ab. Für Retrieval, Matching und Indexierung bleiben leistungsfähige CPU Ressourcen, ausreichend RAM und schneller NVMe Speicher entscheidend.
Die Bandbreitenanforderungen betreffen vor allem die initiale Datenerschließung und inkrementelle Aktualisierungsläufe. Für den laufenden Betrieb sind stabile interne Verbindungen zu SharePoint, Fileshares, DMS, Datenbanken und weiteren Quellsystemen wichtiger als externe Bandbreite. Ein Internetzugang ist für den Betrieb grundsätzlich nicht erforderlich, sofern Modelle, Updates und Container Images kontrolliert intern bereitgestellt werden.
Die Pilotphase sollte gezielt genutzt werden, um anhand realer Dokumente und Fachfragen ein belastbares Sizing für den späteren Regelbetrieb abzuleiten.
Die exorbyte GmbH entwickelt seit mehr als 20 Jahren Technologien für Suche, Informationserschließung, Data Matching und die Verarbeitung großer Datenbestände. Unsere Lösungen werden insbesondere in Bereichen eingesetzt, in denen hohe Anforderungen an Datenqualität, Nachvollziehbarkeit, Datenschutz und Performance bestehen.
Die für M|BOX eingesetzten Kerntechnologien sind seit vielen Jahren produktiv im Einsatz und wurden in unterschiedlichen fachlichen Kontexten erfolgreich angewendet. Zwar unterscheiden sich die konkreten Anwendungsfälle von der vorliegenden Challenge, die zugrunde liegenden technischen Herausforderungen sind jedoch häufig vergleichbar.
#### Öffentliche Verwaltung und Registerwesen
Technologien von exorbyte kommen im Umfeld großer Verwaltungsregister und öffentlicher Einrichtungen zum Einsatz. Typische Aufgabenstellungen sind die Suche und Identifikation von Personen und Organisationen über verteilte Datenbestände hinweg sowie die Verarbeitung sehr großer Datenmengen unter hohen Anforderungen an Qualität und Nachvollziehbarkeit.
In diesen Szenarien müssen Informationen trotz unterschiedlicher Schreibweisen, unvollständiger Angaben oder historisch gewachsener Datenstrukturen zuverlässig gefunden und miteinander verknüpft werden. Die dabei gewonnenen Erfahrungen hinsichtlich Skalierbarkeit, Berechtigungsanforderungen und Governance sind unmittelbar auf die vorliegende Challenge übertragbar.
#### Versicherungswirtschaft und regulierte Branchen
Mehrere große Versicherungsunternehmen nutzen exorbyte Technologien zur Identifikation und Verknüpfung von Kunden, Vertrags und Schadendaten. Die zugrunde liegenden Systeme verarbeiten große Datenmengen aus unterschiedlichen Quellen und müssen Informationen in hoher Qualität und teilweise in Echtzeit bereitstellen.
Die Anforderungen an Datenschutz, Nachvollziehbarkeit, Auditierbarkeit und die sichere Verarbeitung sensibler Informationen entsprechen dabei in wesentlichen Punkten den Anforderungen geschützter Unternehmensumgebungen.
#### Dokumentenbezogene Informationserschließung
Ein weiterer Anwendungsbereich liegt in der intelligenten Zuordnung und Verarbeitung dokumentenbezogener Informationen. Hierbei werden Inhalte aus OCR Prozessen oder unstrukturierte Dokumentinformationen mit bestehenden Datenbeständen abgeglichen, um die korrekte Zuordnung zu Vorgängen, Akten oder fachlichen Entitäten sicherzustellen.
Die hierfür eingesetzten Verfahren zur fehlertoleranten Suche, Dublettenerkennung und Identifikation ähnlicher Inhalte bilden eine wichtige Grundlage für die Verarbeitung großer Wissensbestände.
#### Wissensmanagement und Enterprise Search
In verschiedenen Projekten werden große Mengen strukturierter und unstrukturierter Informationen über zentrale Such und Retrieval Funktionen zugänglich gemacht. Ziel ist es, Informationen systemübergreifend auffindbar zu machen und Fachanwendern einen schnellen Zugang zu relevantem Wissen zu ermöglichen.
Die dabei adressierten Herausforderungen entsprechen in vielen Punkten dem vorliegenden Einsatzfall:
heterogene Datenquellen,
unterschiedliche Dokumenttypen,
historisch gewachsene Informationsbestände,
hohe Anforderungen an Berechtigungen,
große Datenmengen,
Bedarf an nachvollziehbaren Suchergebnissen.
#### Erfahrungen mit KI gestützter Informationserschließung
Ergänzend zu den etablierten Such und Matching Technologien beschäftigen wir uns intensiv mit der Kombination klassischer Retrieval Verfahren und moderner lokaler KI Komponenten. Unser Fokus liegt dabei auf der kontrollierten Nutzung von KI innerhalb sicherheitskritischer Umgebungen.
Anstatt KI als isolierte Technologie zu betrachten, setzen wir auf die Verbindung von belastbarer Informationserschließung, nachvollziehbaren Suchverfahren und lokaler KI Verarbeitung. Ziel ist es, die Vorteile moderner Sprachmodelle nutzbar zu machen, ohne die Anforderungen an Transparenz, Datenschutz und Governance zu vernachlässigen.
#### Zusammenfassung
Die exorbyte GmbH verfügt über umfangreiche Erfahrungen in der Verarbeitung großer und komplexer Datenbestände in regulierten Umgebungen. Die Kombination aus langjährig erprobten Technologien zur Informationserschließung und modernen lokalen KI Verfahren bildet aus unserer Sicht eine belastbare Grundlage für die erfolgreiche Umsetzung des beschriebenen Anwendungsfalls.
Gerne stellen wir im Rahmen einer vertiefenden Präsentation konkrete Referenzbeispiele, Architekturübersichten sowie weitere Informationen zu vergleichbaren Einsatzszenarien zur Verfügung.
Die technologische Entwicklung im Bereich künstliche Intelligenz, Wissensmanagement und Informationserschließung verläuft derzeit mit hoher Geschwindigkeit. Aus unserer Sicht besteht die größte Herausforderung daher nicht darin, heute das leistungsfähigste Modell auszuwählen, sondern eine Architektur zu schaffen, die auch in fünf bis zehn Jahren flexibel, wartbar und unabhängig von einzelnen Technologien bleibt.
Genau diesem Grundsatz folgt die Architektur von M|BOX.
Die Plattform wurde bewusst modular aufgebaut und trennt die Bereiche Datenquellen, Informationserschließung, Retrieval, Berechtigungsmanagement, KI Verarbeitung und Benutzerinteraktion voneinander. Dadurch können einzelne Komponenten unabhängig voneinander modernisiert, erweitert oder ersetzt werden, ohne die Gesamtarchitektur neu entwickeln zu müssen.
Dies betrifft insbesondere:
lokale Sprachmodelle (LLM),
Embedding Modelle,
OCR und Dokumentenanalyse Komponenten,
Vektordatenbanken,
Such und Retrieval Technologien,
Agentensysteme,
Datenquellenkonnektoren,
Benutzeroberflächen und Fachanwendungen.
Die Plattform vermeidet dadurch bewusst eine Abhängigkeit von einzelnen Herstellern, proprietären Cloud Plattformen oder bestimmten KI Anbietern. Neue Technologien können integriert werden, ohne dass bestehende Investitionen verloren gehen.
Ein wesentlicher Baustein der Zukunftssicherheit liegt in der Rolle der Informationserschließung. Während sich Sprachmodelle und KI Technologien in kurzen Innovationszyklen verändern, bleiben die Anforderungen an Datenqualität, Berechtigungen, Versionierung, Dublettenerkennung, Nachvollziehbarkeit und Governance dauerhaft bestehen.
Die zugrunde liegenden exorbyte Technologien adressieren genau diese langfristig stabilen Anforderungen. Sie bilden damit eine belastbare Grundlage, auf der neue KI Verfahren kontinuierlich ergänzt werden können.
Gleichzeitig beobachten wir, dass sich moderne Wissensplattformen zunehmend von einfachen Chatbot Architekturen hin zu agentischen Systemen entwickeln. Künftige Anwendungen werden nicht mehr ausschließlich von einem einzelnen Sprachmodell bearbeitet, sondern von mehreren spezialisierten Komponenten, die unterschiedliche Aufgaben übernehmen und ihre Ergebnisse kontrolliert zusammenführen.
M|BOX ist bereits heute auf diese Entwicklung vorbereitet.
Die Plattform kann um agentische Verarbeitungskomponenten erweitert werden, die komplexe Fragestellungen in Teilaufgaben zerlegen, Informationen aus unterschiedlichen Quellen bewerten und Ergebnisse nachvollziehbar aggregieren. Hierfür setzen wir auf moderne Orchestrierungsansätze auf Basis von Octochains.
Octochains verfolgt das Prinzip des Parallel Isolated Reasoning. Anstatt ein einzelnes Modell mit einer komplexen Fragestellung zu überlasten, werden mehrere spezialisierte lokale KI Agenten parallel eingesetzt. Die Ergebnisse werden anschließend auf Konsistenz, Vollständigkeit und mögliche Widersprüche geprüft.
Aus unserer Sicht stellt dieser Ansatz einen wichtigen Entwicklungspfad für zukünftige Enterprise KI Systeme dar, insbesondere in Umgebungen mit hohen Anforderungen an Nachvollziehbarkeit, Auditierbarkeit und Sicherheit.
Für die kommenden Jahre sehen wir insbesondere folgende Weiterentwicklungsfelder:
• Integration neuer lokaler Sprachmodelle,
• Ausbau multimodaler Verarbeitung von Texten, Tabellen, Bildern und technischen Zeichnungen,
• Erweiterung agentischer Analyseverfahren,
• automatisierte Wissensextraktion und Wissensstrukturierung,
• Ausbau semantischer und hybrider Retrieval Verfahren,
• Integration zusätzlicher Datenquellen und Fachsysteme,
• Weiterentwicklung von Governance und Compliance Funktionen,
• Unterstützung zukünftiger regulatorischer Anforderungen.
Auch aus betrieblicher Sicht wurde die Lösung auf langfristige Wartbarkeit ausgelegt. Die Architektur basiert auf offenen Standards, containerisierten Komponenten und dokumentierten Schnittstellen. Dadurch können einzelne Bestandteile unabhängig voneinander aktualisiert werden, ohne die Gesamtplattform zu gefährden.
Zusammenfassend verstehen wir M|BOX nicht als statische Anwendung, sondern als langfristige Wissensplattform, die sich gemeinsam mit den technologischen Entwicklungen im Bereich KI und Informationsmanagement weiterentwickeln kann. Die Kombination aus bewährter Informationserschließung, modularer Architektur und agentischen KI Verfahren schafft aus unserer Sicht eine belastbare Grundlage für eine nachhaltige Nutzung über viele Jahre hinweg.
