Lösungsansatz der virtual7
Wer wir sind. Die virtual7 GmbH entwickelt und integriert seit 1996 Individuallösungen für den öffentlichen Sektor, von Bundes- und Landesministerien bis zu Fachbehörden, mit über 200 Mitarbeitenden und Hauptsitz in Karlsruhe. Wir arbeiten direkt beim Kunden, in dessen Umgebung. Unsere Teams decken die Rollen ab, die ein Vorhaben wie dieses trägt: Lösungsarchitektur, ML- und MLOps-Engineering sowie die Spezialisierung auf Prompt-Design, Retrieval-Evaluierung und Guardrails für quellengebundene KI-Systeme. Für das hier vorgeschlagene Vorhaben heißt das außerdem: Konzeption, Entwicklung und Test finden vollständig in der JEN-Infrastruktur statt. Kein Dokument verlässt Ihr Haus, auch nicht während der Entwicklung.
Was wir vorschlagen. Keine eigene Plattform, die zwischen Ihnen und Ihren Daten steht, sondern einen standardnahen Verbund ausgereifter, lizenzkostenfreier Open-Source-Komponenten, verbunden durch klar ausgewiesene Integrationsleistung. Die Suche und die Berechtigungsdurchsetzung übernimmt OpenSearch, das klassische Stichwortsuche und semantische Suche in einem System vereint und Berechtigungen auf Dokumentebene durchsetzt, bevor eine Antwort entsteht. Die Sprachmodelle laufen lokal auf Ihrer Hardware und bleiben austauschbar. Ein schlankes Verzeichnis auf PostgreSQL-Basis hält Versionsstände und Dubletten über alle Quellsysteme konsistent. Die Oberfläche ist ein bewährter Open-Source-Chat-Client mit deutscher Bedienung und Anmeldung über Ihr Active Directory.
Weitere Details siehe Konzept im geschützten Anhang.
Wie reif ist das? Jede Standardkomponente ist einzeln in großen Produktivumgebungen erprobt. Was es als Gesamtpaket für Ihre Quellsystem-Landschaft noch nicht zu kaufen gibt, ist genau der Teil, den niemand im Standard anbietet: die Anbindung von nscale und windream mit Übernahme der Berechtigungen. Darin liegt aus unserer Sicht auch der eigentliche Innovationsgehalt dieses Vorhabens. Nicht ein weiteres KI-Werkzeug, sondern berechtigungstreue, messbar gemachte Suche über gewachsene Altsysteme hinweg, bis zu der Frage, wie schnell ein Rechteentzug in den Antworten wirksam wird. Mit dieser Kette arbeiten wir nicht zum ersten Mal. Die Rechteprüfung vor dem Ranking, die Filterung vor dem Re-Ranking und die Aktualitätsprüfung zwischengespeicherter Inhalte haben wir in einem Referenzkontext bereits eingesetzt. Anhang C ordnet diesen Erfahrungshintergrund ein.
Wir behaupten dafür keine Produktreife, sondern schlagen den Nachweis vor: Ein Pilot von 8 bis 12 Wochen endet mit einem Abnahmetest an einem gemeinsam erarbeiteten Fragenkatalog, der auch prüft, dass Nutzer ohne Berechtigung die betreffenden Inhalte nicht zu sehen bekommen. Gemessen statt versprochen.
Weitere Details siehe Konzept im geschützten Anhang.
Warum das zu JEN passt. Ihre Anforderungen lesen sich wie das Lastenheft dieses Ansatzes: alle Verarbeitungsstufen lokal, Berechtigungen aus dem bestehenden AD, semantische und klassische Suche, austauschbare Komponenten, offene Schnittstellen, kein Big Bang. Ein geschlossenes Produkt erfüllt einzelne dieser Punkte schneller, bindet Sie aber an Lizenzmodell und Roadmap eines Herstellers. Unser Ansatz dreht das um: Sie besitzen am Ende eine dokumentierte, exportierbare, von Ihrem Personal betreibbare Lösung, und jede Komponente lässt sich ersetzen, ohne das Ganze neu zu bauen. Für ein Vorhaben, das Jahrzehnte tragen soll, halten wir das für die wirtschaftlichere Architektur.
Weitere Details siehe Konzept im geschützten Anhang.
Was heute steht und was die Messung entscheidet. Damit unsere Vorbehalte nicht als Unfertigkeit gelesen werden, hier gebündelt: Architektur, Komponentenverbund, Berechtigungsmodell, Pilotquelle und Vorgehen stehen fest. Bewusst erst der Messung überlassen bleiben drei Größen, jede mit einem festen Klärungszeitpunkt. Die GPU-Ausbaustufe für den Regelbetrieb legt der Lasttest fest, die beiden Pilot-Karten stehen schon und tragen zugleich das A/B-Gate. Das Sprachmodell wählen wir am Ende der Qualitätsphase, die Kandidatenliste steht schon. Die Berechtigungslatenz nach Rechteentzug misst der Abnahmetest, das FailClosed-Verhalten steht schon. Feste Zusagen zu ungesehenen Systemen ersetzen wir durch benannte Termine, nicht durch Vertagung.
Der Pilot folgt einer bewussten Disziplin: 8 bis 12 Wochen, ein kleines Team, eine Quelle, eine Nutzergruppe, ein produktiver Konnektor. Wir empfehlen den SMB-Fileshare als Startquelle, weil er ohne jeden Internetzugang auskommt und den schnellsten Start erlaubt. Die endgültige Wahl treffen wir gemeinsam am Kick-off, danach, wo das Wissen Ihrer Pilotgruppe tatsächlich liegt. Entwickelt wird vor Ort, in Ihrer Umgebung.
Vier Phasen mit harten Meilensteinen: Aufbau, bis der Chat Ende-zu-Ende läuft. Konnektor und Aufbereitung, bis die Pilotquelle indexiert ist, mit sichtbarem Nachweis der Versions- und Dublettenauflösung. Qualität und Berechtigungen, in denen mit Ihren Fachexpertinnen und Fachexperten ein Fragenkatalog aus 50 bis 100 realen Fragen entsteht und Suche wie Antwortgüte getrennt gemessen werden. Abnahme und Wissenstransfer, mit dem Abnahmetest inklusive Negativabfragen und der Schulung Ihrer Administratoren. Die Hardware beschaffen Sie nach unserer Spezifikation vor dem Kick-off, zwei Inferenz-Systeme mit je einer Grafikkarte der 48-GB-Klasse und ein bis zwei virtuelle Maschinen. So liegt keine Lieferzeit auf dem Projektpfad. Der GPU-Ausbau für den Regelbetrieb folgt erst dem Lasttest.
Weitere Details siehe Konzept im geschützten Anhang.
Siehe Konzept im geschützten Anhang.
virtual7 hat für einen deutschen Energieversorger im KRITIS-Umfeld ein Optimierungskonzept für eine bereits produktive RAG-Anwendung erarbeitet. Inhaltliche Schwerpunkte waren dieselben Disziplinen, die auch für JEN tragen: Hybrid-Retrieval aus stichwortbasierter und semantischer Suche, Berechtigungsfilterung vor dem Ranking, messbare Freigabe-Gates mit getrennter Messung von Retrieval- und Generierungsqualität sowie Schutz gegen Prompt Injection.
Weitere Details siehe Konzept im geschützten Anhang.
Jede Komponente ist einzeln ersetzbar: Sprachmodell, Einbettungsmodell, Texterkennung, Suchkomponente, Konnektoren. Für die Suchkomponente belegen wir das im Pilot mit einem Schnittstellentest, statt es nur zu behaupten. Bei den Modellen unterscheiden wir dabei bewusst zwei Fälle, ohne den teureren zu verschweigen: Ein Wechsel des Sprachmodells erfordert keine Neuindexierung und ist damit nahezu ein Schalter. Ein Wechsel des Einbettungsmodells erfordert die Neuberechnung aller Vektoren. Das ist der aufwendigste Wechsel, er läuft aber dank des getrennten Offline-Pfads als Hintergrundlauf im laufenden Betrieb, während der bisherige, versionierte Index aktiv bleibt, bis der neue steht, mit Rückfallmöglichkeit. Ehrlich bleibt: Ein Austausch ist ein überschaubares Projekt, kein Schalter. Die Kapselung senkt die Wechselkosten, sie hebt sie nicht auf.
Weitere Details siehe Konzept im geschützten Anhang.
