Die RheinInsights GmbH ist ein Spezialist für Enterprise Search, Knowledge Retrieval sowie sicheres Retrieval-Augmented-Generation-(RAG) mit Sitz in Düsseldorf.

Neben Dienstleistungen im Bereich KI-Transformation und Wissensmanagement ist unser zentrales Produkt die RheinInsights Retrieval Suite.

Unsere Suite ist eine herstellerunabhängige Middleware, welche Enterprise Search-Konnektoren für die Indexierung von über vierzig Quellsystemen in mehr als zehn verschiedene Vektor-Datenbanken und Suchmaschinen bietet.

Die Suite unterstützt hierbei insbesondere Open-Source Suchmaschinen, wie OpenSearch und Apache Solr, sowie Integrationen in führende kommerzielle Technologien wie der Schweizer Lösung Squirro Insight Engine, oder auch Azure AI Search, Microsoft Search und damit in Microsoft Copilot. Darüber hinaus bietet unsere Suite ein Suchinterface, KI- und Query-Pipelines.

Damit ist die Retrieval Suite die Grundlage für die erfolgreiche Umsetzung zahlreicher Use Cases, wie Wissenssuche, Onboarding, Vertriebsunterstützung, HR, IT-Support, Projektarbeit und vielen mehr.

Unsere Suite ist primär für den Betrieb innerhalb der Kundenumgebung ausgelegt (on-premises oder private Cloud). Dadurch behalten Kunden jederzeit die volle Kontrolle über ihre Daten. Ein Zugriff durch RheinInsights oder Dritte erfolgt nicht.

Zudem bildet die Retrieval Suite immer die Berechtigungen im Quellsystem in den Ergebnissen ab. Damit wird Wissen sicher und zuverlässig erschlossen und den Mitarbeitenden anhand ihrer Berechtigungen zur Verfügung gestellt. Es werden insbesondere Antworten nur auf Basis von Wissen gegeben, auf das Nutzer Zugriff im Quellsystem haben. Die Retrieval Suite ist damit die ideale Grundlage für eine KI-Applikation, die strikte Governance- und Datenschutzanforderungen unterstützt und digitale Souveränität bietet.

Damit versteht sich die RheinInsights Retrieval Suite als ergänzende Middleware innerhalb bestehender IT- und KI-Landschaften. Ihre Komponenten können bei Bedarf eingesetzt werden und sie lässt sich leicht in vorhandene Plattformen und Lösungen integrieren.

Zielsetzung der vorgeschlagenen Lösung ist es Enterprise Search und Retrieval Augmented Generation für Nutzende und perspektivisch auch für KI-Agenten zur Verfügung zu stellen. Hierfür sollen Daten aus SharePoint Online, OneDrive, eventuell Teams, File Shares, Windream, Nscale, Wikis, einem Intranet und SQL-Datenbanken inklusive Berechtigungen effizient indexiert werden.

Die Lösung bietet authentifizierten Nutzenden oder KI-Agenten Zugriff auf das Organisations-Wissen und Dokumente. Hierfür wird entweder das mitgelieferte Interface der Retrieval Suite oder ein separates Interface, beispielsweise Open WebUI, als Einstiegspunkt genutzt. Sollte eine Integration der Wissenssuche und RAG-Applikation in weitere Systeme notwendig sein, können die APIs der Retrieval Suite genutzt werden.

Als Ergebnis haben Nutzende einen effizienten und präzisen Zugriff auf das Wissen der Organisation. Unser Interface liefert zudem bei Bedarf Dokumenten-Previews, so dass der Kontext noch verständlicher wird. Wie im Folgenden beschrieben, berücksichtigt der Wissenszugriff, ebenso wie die Previews, immer die Nutzerberechtigungen.

Architektur und Komponenten

Wir schlagen die nachfolgende on-premises Architektur für die Challenge vor.

Sie besteht aus

1. RheinInsights Retrieval Suite

2. Suchmaschine/Vektor-Datenbank

3. Postgres- oder Microsoft SQL-Datenbank

4. On-premises Large Language Model

5. Dem Such-Interface der RheinInsights Retrieval Suite für den Nutzerzugriff, Open WebUI, Bot-Integration oder ein eigenes Chat-Interface

Die RheinInsights Retrieval Suite liefert die Konnektoren für die Dokumenten-Indexierung, inklusive Berechtigungen, Content Transformation-Pipelines (bspw. um Embeddings und Kategorisierungen zu erzeugen), sowie die Query- und KI-Pipelines.

In der Architektur hat die Suchmaschine, bzw. Vektor-Datenbank, die Aufgabe einen effizienten Zugriff auf die indexierten Daten zur Verfügung zu stellen. Die SQL-Datenbank speichert den Zustand der Konnektoren, sowie Konfigurationen.

Reifegrad

Unsere Retrieval Suite ist seit Jahren marktverfügbar und ein Standardprodukt, welches regelmäßig von unseren Kunden selbst installiert und konfiguriert wird. Die von uns vorgeschlagene Architektur ist durch den Standard abgedeckt. Insbesondere erfordern die von Ihnen dargestellten und von uns verstandenen Anforderungen keine Custom-Entwicklung. Sie werden durch Deployment und Konfiguration umgesetzt.

Unsere Kunden nutzen die Retrieval Suite sowohl in on-premises Szenarien als auch im Zusammenspiel mit Cloud- und Plattformlösungen wie Microsoft Copilot oder der Squirro Insight Engine.

Für einen on-premises Betrieb haben wir sehr gute Erfahrungswerte mit VLLM und Ollama im Zusammenspiel mit Elasticsearch und OpenSearch gesammelt.

Unsere Lösung ist unter anderem speziell dafür ausgelegt on-premises und in geschützten Umgebungen, bis hin zu Umgebungen mit Air-gap, betrieben zu werden. Sie erfordert in der vorgeschlagenen Architektur zu keinem Zeitpunkt eine Verbindung zum Internet, bis auf die gewünschte Indexierung der O365 Inhalte und einem optionalen Zugriff auf Entra Id.

Unsere Lösung passt exakt zu Ihrer Challenge, weil sie die im Szenario beschriebenen Kernanforderungen bereits heute im Standard adressiert:

Sichere, on-premises betriebene Wissenserschließung mit KI, die heterogene Datenquellen wie SharePoint Online, File Shares, relationale Datenbanken sowie perspektivisch weitere Systeme integriert und dabei Berechtigungen konsequent bis in die Such- und Antwortlogik hinein abbildet.

Gerade in einem sensiblen Umfeld sehen wir die größte Synergie darin, dass unsere Retrieval Suite digitale Souveränität, Datenschutz und praktische Nutzbarkeit miteinander verbindet: Die gesamte Architektur kann vollständig innerhalb Ihrer Umgebung betrieben werden, Quellenberechtigungen werden per ACL- und Gruppenmodell in den Abfragen berücksichtigt, und Antworten basieren ausschließlich auf Inhalten, auf die die jeweiligen Nutzenden tatsächlich Zugriff haben.

Unsere Suite ist ein Standardprodukt und ohne Custom-Entwicklung einsetzbar, da die relevanten Funktionen – von hybrider Suche über RAG und Dokumenten-Previews bis hin zu Logging, Auditierbarkeit und offener API-Integration – bereits vorhanden sind.

Dadurch erhalten Sie eine sofort nutzbare, skalierbare und langfristig ausbaufähige Plattform, die besonders gut zu Ihrem Bedarf nach sicherer KI-Nutzung, heterogenen Quellsystemen und kontrollierbarem Betrieb passt.

Die folgenden Punkte ordnen die uns bekannten Anforderungen ein und zeigen, welche Funktionen bereits im Standard abgedeckt sind und an welchen Stellen perspektivische Ausbaupfade bestehen.

Bereits im Standard unterstützt:

• Wissenssuche

• Recherche

• Dokumentenanalyse

• Expertensuche

• Agentisches RAG

• OAuth über Entra Id

• Open WebUI über eine Backend-Integration gegen die Query-APIs

• Abbildung von Quellsystemberechtigungen in den Suchabfragen

• SharePoint Online über Graph APIs und SharePoint REST APIs

• Teams über die Graph APIs

• SMB-Fileshares über einen File-Share-Mount auf einem Windows Server

• Active Directory für Nutzer-Gruppen-Beziehungen bei File-Share-Berechtigungen über LDAPS

• Relationale Datenbanken per JDBC

• Sowie weitere Konnektoren

• Alle Konnektoren bilden die Berechtigungen der Quellsysteme ab, so dass Nutzende nur Antworten auf Basis von Dokumenten erhalten, auf die sie auch im Quellsystem Zugriff haben

• Gescannte Dokumente bei Bedarf über OCR-Verarbeitung

• Tabellen als Teil indexierter Dokumente; tabellarische Informationen werden dabei in Text überführt

• Sehr große Dokumente im Korpus; Dokumente mit bis zu 900 Seiten sind grundsätzlich problemlos verarbeitbar, der Standard für die Indexierung liegt bei 100 MByte und kann angepasst werden

• Dokumentenvolumen mehr als einer bis hin zu dutzenden Million Dokumenten

Abhängig von Zielsystem oder Ausprägung:

• Intranet, beispielsweise per Webcrawler oder über einen neuen Konnektor

• Wiki, beispielsweise per Confluence-, Xwiki- oder Mediawiki-Konnektor oder über einen neuen Konnektor

Perspektivische Ausbaupfade:

• Windream, zunächst möglichst über den File-Share-Konnektor, alternativ über einen neuen Konnektor

• NScale

• Bilder, Grafiken und Zeichnungen als Teil indexierter Dokumente, je nach Use Case über OCR, Bilderkennung per Modell oder einem externen Service

Wie wird die Berücksichtigung von Berechtigungen technisch und organisatorisch umgesetzt?

Der Konnektor indexiert die Dokumente samt Access Control Lists (ACLs), sowie die Nutzer-Gruppenbeziehungen der Quellsysteme. Zur Suchzeit wird die Query (der Prompt) um einen ACL-Filter erweitert. Dies führt dazu, dass nur Treffer zurückgeliefert werden, auf die die Nutzer auch Zugriff haben.

Wie werden Versionen, Dubletten und inkrementelle Aktualisierungen des Datenbestandes behandelt?

Es wird immer nur die aktuellste, publizierte Version eines Dokuments indexiert. Neue Versionen ersetzen den alten Inhalt. Duplikate können, je nach eingesetzter Suchmaschine, erkannt und query-seitig entfernt werden. Aktuell nutzt die Retrieval Suite dieses Feature aber nicht.

Wie werden quellenbasierte Antworten, Referenzen und der transparente Umgang mit unzureichender Quellenlage sichergestellt?

Die Antworten beinhalten immer vom Sprachmodell hinzugefügte Quellen. Sollten die Treffer keine relevanten Antworten beinhalten, kann die KI-Pipeline (je nach festgelegter Konfiguration) weitere Verfeinerungen vornehmen. Sollte nach mehreren Anläufen kein passendes Dokument gefunden werden, wird eine entsprechende Meldung mit Rückfragen an den Nutzer zurückgespielt.

Wie wird Sicherheit, Betrieb und Governance grundsätzlich adressiert?

Die Retrieval Suite verfügt über umfangreiches Logging, beispielsweise für Queries oder auch Verarbeitungsschritte. Bei Bedarf kann dieses erweitert werden, sollte ein detailliertes Auditlog notwendig sein.

Unsere Query- und KI-Pipelines loggen bei Bedarf darüber hinaus Zwischenergebnisse, so dass es für Administratoren nachvollziehbar ist, wie die RAG-Applikation und KI zu einem Ergebnis gekommen ist.

Die Suite wird in der Regel in das normale Monitoring integriert. Hierbei werden Endpunkte per http-Monitor sowie die Logs überwacht.

Exportierbare Konfigurationen, Versionierung, Backup und Restore

Konfigurationen können grundsätzlich als JSON versioniert werden.

Backup-Restore und Disaster Recovery der Suite werden über Datenbank-Backups abgebildet. Die Suchmaschine muss separat betrieben werden und mit einem entsprechenden Konzept ausgestattet werden.

Ein unkontrollierter Datenabfluss findet nicht statt. Grundsätzlich greifen die Berechtigungen der Nutzer. Prompt Injections können einerseits über das Modell abgefangen werden. Jedoch wird aufgrund der Architektur niemals Wissen exponiert, auf das ein Nutzer keinen Zugriff hat. Sprich eine Promptinjection kann nicht den ACL-Filter verändern. Zudem wird kein Wissen aus anderen Chats exponiert.

Unerwünschte externe Telemetrie werden über entsprechende Netzwerkregeln unterbunden.

Wir schlagen als Pilot eine Integration mit einer on-premises Vektordatenbank oder Suchmaschine, bspw. OpenSearch, mit VLLM und Gemma, einem passenden Embedding sowie einer oder zwei Quellen vor. Eine Integration in Open WebUI kann optional stattfinden.

Das Ergebnis der Pilotphase ist eine Wissenssuche inklusive Berechtigungen auf den ersten beiden Quellen.

Eine Pilotierung trennt sich in die folgenden Phasen:

1. (Kunde + RheinInsights) Kurze Discovery, Durchsprache Use Cases, Architektur und etwaiger Anforderungen

2. (Kunde) Technische Vorarbeiten, insbesondere die Bereitstellung

   1. der notwendigen Infrastruktur und technische Voraussetzungen

   2. Crawl User

   3. Entra-Id App-Registrierung

3. (Kunde + RheinInsights) Deployment der Suite

4. (Kunde + RheinInsights) Konfiguration der Suite

5. (Kunde + RheinInsights) Testphase

6. (Kunde + RheinInsights) Workshop: Review und Anforderungen für Produktivsetzung

Der Betrieb wird vom Kunden oder bei Bedarf von uns übernommen.

Die Retrieval Suite und die beschriebenen Komponenten benötigen in dem von Ihnen beschriebenen und ausfallsicheren Produktivszenario mit einer Millionen indexierten Dokumenten in etwa die folgende Hardware:

• Mindestens zwei VMs oder Docker-Deployments

  • Linux, Windows oder per Docker-Compose

  • 8GByte RAM,

  • 4 CPUs,

  • 100 GByte Plattenplatz
    

• Loadbalancer für den Zugriff auf die Instanzen (Ausfallsicherheit)
  

• Postgres-/ Microsoft SQL-Datenbank (Hot-Failover für Ausfallsicherheit)

  • SDD-Platzbedarf der Datenbank von 100-200 GBbyte

  • Niedrige Latenz zwischen Datenbank und Retrieval Suite

  • Hinreichend viel RAM und CPU
    

• Suchmaschine

  • 8-16 GByte RAM

  • 60 GByte Festplattenplatz

  • Ausfallsicher

    
    

• LLM

  • Die in dieser Challenge gewünschte On-premises Lösung bedarf ausreichend schneller Hardware für den Betrieb der lokalen Modelle. Hierfür eignen sich GPU-Karten der neuesten Generation in ausfallsicheren Setups.

Unsere Kunden sind internationale Unternehmen und Organisationen beispielsweise aus dem Bereich Finanzdienstleistungen, Großbanken, aus der chemischen oder auch aus der Automotive Industrie.

Dabei liegt unsere besondere Erfahrung in Szenarien, in denen on-premises-Betrieb, strikte Berechtigungsabbildung, die Anbindung unterschiedlicher Quellsysteme sowie nachvollziehbare und effiziente KI-Nutzung im Vordergrund stehen.

Auch der Betrieb in geschützten Umgebungen bis hin zu Air-Gap-nahen Architekturen sowie die Integration von Open Source-Suchmaschinen mit cloud und insbesondere auch lokalen Modellen gehören zu unserem erprobten Standard. Dadurch bringen wir nicht nur technologische Expertise mit, sondern auch praktische Projekterfahrung für Pilotierung und Produktivsetzung, sowie dem schrittweisen Ausbau solcher Lösungen in sicherheitskritischen Umfeldern.

Langfristige Weiterentwicklungsfähigkeit der Retrieval Suite

Die RheinInsights Retrieval Suite erfährt monatliche Sicherheitsupdates und wird regelmäßig um neue Features erweitert. Organisationen, die die Suite lizensieren, können die aktuelle Version per Zip oder per „docker pull“ laden und nach ihrem Zeitplan aktualisieren.

Austauschbarkeit

Die Retrieval Suite ermöglicht als modulare Middleware den reibungslosen Wechsel von

• Sprachmodellen,

• Modellanbietern,

• aber auch der Vektor Datenbank oder Suchmaschine.

Dadurch bleibt die Architektur flexibel und ermöglicht den Einsatz sowie den Wechsel unterschiedlicher Modelle und Anbieter.

Offene Schnittstellen

Unsere Suite zeichnet sich durch hohe Transparenz aus. Unsere Query- und KI-Pipelines können über APIs angesprochen werden, unterstützen Impersonierung und OAuth.

Zudem haben Kunden immer Zugriff auf die Daten in der Suchmaschine, bzw. Vektor Datenbank. So können Kunden für Ihre KI-Applikationen eigene Abfragen direkt gegen den Suchindex, inklusive eigenem Security Trimming, implementieren oder unseren Ansatz verwenden.

Auch können eigene Konnektoren implementiert werden oder unseren OData-Konnektor nutzen und weitere Daten in die KI-Applikation integrieren.

Skalierbarkeit bei Datenmengen und Lasten

Unsere Suite, sowie die unterstützen Suchmaschinen, sind auf hohe Skalierbarkeit ausgelegt. Dokumentenvolumen oberhalb von 10 Millionen Dokumenten stellen kein Problem dar. Zudem skaliert die Applikation auf mehrere Zehntausend Nutzer.
Insbesondere sind die LLM-Abfragen aus unserer Suite auf Effizienz ausgelegt, so dass unnötige Last in Form von langen Prompts verhindert wird.

Dennoch obliegt es dem Kunden ein entsprechendes LLM und Hardware zur Verfügung zu stellen, welche hinreichend viele und ausreichend lange Prompts parallel, ohne Ratelimiting, effizient abarbeiten können.