Lösungsvorschlag "Goldfinch" von Tucan.ai
Tucan.ai ist ein deutscher Spezialist für souveräne KI-Lösungen für die Verwaltung. Unser Fokus liegt auf der Entwicklung von Systemen, die tiefes institutionelles Wissen in hochregulierten Branchen nutzbar machen – ohne Kompromisse bei Datensicherheit und Compliance. Wir bieten verschiedenste Produkte an, wie insbesondere KI-Protokollierung und unsere Wissensdatenbank-Lösung "Goldfinch".
Wir haben über 150 öffentliche Kunden, wie unter anderem den Landtag Mecklenburg-Vorpommern, die BWI, sowie Städte wie Bremerhaven, Berlin, Bielefeld und viele mehr. Wir haben außerdem einige Kunden aus dem KRITIS Bereich, sind daher mit Anforderungen wie in der Markterkundung beschrieben sehr vertraut. Mit einem Team aus erfahrenen KI-Ingenieuren und Software-Architekten transformieren wir komplexe Datenberge in handlungsrelevantes Wissen.
Mit Goldfinch bieten wir eine marktreife, voll funktionsfähige On-Premises RAG-basierte KI-Plattform an, die speziell für die Anforderungen der JEN (Jülicher Entsorgungsgesellschaft für Nuklearanlagen) angepasst werden kann. Goldfinch kann als zentrale, intelligente Schnittstelle zu über 1 Million Dokumenten (50 TB) aus unterschiedlichsten Quellen wie SharePoint, Netzlaufwerken und DMS-Systemen (nscale, windream) implementiert werden.
Die Kernfunktionen unserer Plattform:
Vollständige On-Premises Souveränität: Alle Verarbeitungsstufen – von der OCR-Extraktion (LiteParse) über das Embedding bis zur Inferenz (gpt-oss-120b) – können lokal im K8s-Cluster der JEN laufen.
Permission-Aware RAG (Deep Integration): Ein Berechtigungskonzept kann hinterlegt werden. Die Das System garantiert einen rollenbasierten Zugriff auf Dokumentebene („Permission-Aware RAG“). Ein Nutzer erhält nur Antworten basierend auf Dokumenten, für die er eine explizite Leseberechtigung hat.
Intelligente Datenpipeline: Goldfinch beherrscht den Umgang mit Versionen und Dubletten sowie inkrementelle Aktualisierungsläufe, um bei 1 Mio. Dokumenten stets aktuell und performant zu bleiben.
DMS-Konnektivität (nscale & windream): Wir erweitern unser bestehendes Ingestion-Framework um spezialisierte Adapter für die bei der JEN eingesetzten Archivsysteme.
Präzise Quellenarbeit (Citation Engine): Jede Antwort der KI ist kann durch Deep-Links in die Originaldokumente (inkl. Seitenzahl) belegt.
Multiformat-Verständnis: Goldfinch kann auch komplexe Scans und Tabellen, die in Jahrzehnten der Anlagendokumentation entstanden sind verarbeiten.
Hybrid-Search Scale: Optimiert für über 1 Million Dokumente durch eine Kombination aus vektorbasierter und semantischer Suche (pgvector/Qdrant).
Modulare Architektur und Zukunfsfähigkeit: LLMs entwickeln sich rasant weiter. Das System ist nach dem „Plug-and-Play“-Prinzip aufgebaut. LLMs, Embedding-Modelle oder Konnektoren können dank offener Schnittstellen und dokumentierter API jederzeit unabhängig voneinander ausgetauscht oder aktualisiert werden.
Die Lösung basiert auf der Goldfinch-Plattform, einer On-Premises-Architektur, die für den Betrieb in einer Docker/Kubernetes-Umgebung (K8s) konzipiert ist. Das Konzept beruht auf einer modularen Drei-Ebenen-Struktur:
Shared Services (Zentrale Dienste):
LLM Node: Lokale Inferenz des Modells gpt-oss-120b via vLLM. Optimiert für den Betrieb auf einer einzelnen NVIDIA A100/H100 (80GB) durch MoE-Architektur (120B total, 5.1B active params).
LiteParse Service: Ein dedizierter Microservice zur strukturierten Extraktion von Texten, Tabellen und Bildelementen aus nativen und gescannten PDFs sowie Office-Dokumenten (lokal, kein Datenabfluss).
Embedding Service: Nutzung multilingualer Modelle (z.B. BGE-M3) zur semantischen Erschließung deutschsprachiger Inhalte.
Goldfinch Platform Enhancements (Spezifische Erweiterungen):
Ingestion Pipeline: Ein erweiterbares Framework mit Konnektoren für SharePoint Online, SMB-Shares sowie die DMS-Systeme nscale und windream. Die Pipeline unterstützt inkrementellen Sync (via Zeitstempel) und Deduplizierung (via Content-Hashing), was bei einem Volumen von 50 TB/1 Mio. Dokumenten essenziell ist.
Permission-Aware RAG: Jeder Dokument-Chunk wird beim Indexieren mit ACL-Security-Tags (AD-Gruppen) aus den Quellsystemen versehen. Die Filterung erfolgt zur Laufzeit, sodass Nutzer nur Informationen erhalten, für die sie eine Berechtigung besitzen.
Citation Engine: Ein spezialisiertes System zur Erzwingung von Quellennachweisen. Die UI ermöglicht direkt klickbare Zitate, die zum Originaldokument führen.
Infrastruktur & Sicherheit:
Einsatz von pgvector oder Qdrant für die skalierbare Vektorsuche.
Vollständige Integration von Active Directory (LDAP/AD FS) für Authentifizierung und Rollen-Mapping.
Objektspeicherung via S3-kompatiblem MinIO für die verschlüsselte Ablage der Originaldaten.
Stadium der Lösung und Markterfahrung
Goldfinch ist ein marktreifes Standardprodukt (Version 1.0), das als stabile Basis für die JEN-spezifischen Anpassungen dient. Wir haben das Produkt in verschiedenen Anpassungen und Variantionen bei 21 Kunden aktuell in Produktion.
Projektspezifische Anpassung: Für die JEN wird ein spezifisches Build-Profil („jen“) erstellt. Der Reifegrad der Basiskomponenten (Chat-UI, K8s-Deployment, S3-Anbindung) erlaubt es, den Fokus im Projekt direkt auf die Integration der Enterprise-Systeme (nscale/windream) und das Permission-Mapping zu legen.
Einordnung der Eignung für den beschriebenen Einsatzfall
Die Herausforderung der JEN liegt in der Kombination aus extremer Datenmenge (50 TB), hochsensiblen Sicherheitsvorgaben und einer komplexen Systemlandschaft. Goldfinch ist exakt auf dieses Anforderungsprofil zugeschnitten, da es die Flexibilität einer modernen KI-Plattform mit der Robustheit einer industriellen On-Premises-Infrastruktur vereint.
1. Lösung der Volumen-Herausforderung (1 Mio. Dokumente / 50 TB)
Das größte Hindernis bei dieser Größenordnung ist die Performance und Aktualität. Unser Ansatz adressiert dies durch:
Effiziente Ingestion: Statt die 50 TB bei jedem Lauf neu zu scannen, nutzt Goldfinch inkrementelle Sync-Verfahren und Content-Hashing zur Deduplizierung. Das schont die Systemressourcen der JEN.
Hybride Indexierung: Durch die Kombination von Qdrant (Vektorsuche) für semantische Konzepte und BM25 für exakte Fachbegriffe (z.B. spezifische Bauteil-IDs oder Strahlenschutz-Vorschriften) liefert Goldfinch höchste Treffergenauigkeit auch in riesigen Beständen.
2. Sicherheit & Compliance im nuklearen Umfeld
In einer nuklearen Einrichtung ist Datensouveränität nicht verhandelbar.
Echte On-Premises-Inferenz: Durch die Nutzung von vLLM und dem gpt-oss-120b Modell (oder ähnliche) auf lokaler GPU-Hardware (z.B.: A100/H100) stellen wir sicher, dass kein einziges Bit den Sicherheitsbereich der JEN verlässt.
Permission-Aware RAG: Dies ist die wichtigste Synergie. Goldfinch übernimmt nicht nur die Texte, sondern auch die ACL-Security-Tags aus SharePoint, SMB und den DMS-Systemen. Ein Mitarbeiter aus dem Projektmanagement erhält nur Antworten basierend auf Daten, für die er eine AD-Berechtigung hat – ein „Datenleck“ durch die KI wird technisch ausgeschlossen.
3. Umgang mit historisch gewachsenen Datenstrukturen
Die JEN verfügt über Jahrzehnte an Dokumentation, oft als Scan oder in komplexen Tabellenformaten.
Deep Parsing mit LiteParse: Wir setzen nicht auf Standard-Textextraktion, sondern auf einen spezialisierten Microservice, der auch gescannte PDFs via OCR erschließt und Strukturen in Tabellen erkennt. Dies macht das „analoge“ Wissen der letzten Jahrzehnte erstmals digital abfragbar.
Konnektivität zu Altsystemen: Während viele Lösungen nur Cloud-Speicher anbinden, ist unser Framework für die Integration von Legacy-Systemen wie nscale und windream via API-Adapter ausgelegt.
Synergien durch modulare Architektur
Der größte Mehrwert für die JEN liegt in der Zukunftssicherheit. Durch unser Build-Profile-System (profile-config.json) erstellen wir ein maßgeschneidertes „JEN-Profil“. Da alle Komponenten (LLM, Embedding, Parser) modular sind, kann die JEN einzelne Teile in 2–3 Jahren gegen neuere Modelle austauschen, ohne die gesamte Benutzeroberfläche oder die Datenanbindung neu entwickeln zu müssen.
1. Status Quo: Abdeckung durch den Goldfinch-Standard
Folgende Anforderungen der JEN sind bereits „Ready-to-use“ im Standard enthalten:
KI-Chat-Interface: Voll funktionsfähiges UI mit Streaming-Antworten und Markdown-Unterstützung.
On-Premises Architektur: Erprobtes Deployment-Modell für Docker und Kubernetes (K8s).
Sprachunterstützung: Vollständige Lokalisierung in Deutsch (via next-intl).
Sichere Datenhaltung: Verschlüsselte S3-Ablage (MinIO) und rollenbasierte Zugriffskontrolle (RBAC).
Hybride Suche: Bestehende Unterstützung für Vektorsuche und klassische Suche (BM25).
Lokale OCR-Integration: Durch die Einbindung des LiteParse-Microservices ist die Plattform befähigt, auch gescannte Dokumente und komplexe Tabellenstrukturen vollständig lokal und ohne Cloud-Abhängigkeit zu erschließen.
Permission-Aware RAG: Das System zur Extraktion von ACL-Metadaten (Access Control Lists) direkt aus den Quellsystemen. Diese werden als Security-Tags im Vektor-Index (Qdrant) hinterlegt, sodass die KI-Antworten zur Laufzeit automatisch auf die Berechtigungsebene des jeweiligen Nutzers gefiltert werden.
Skalierung der Ingestion-Pipeline: Für das Volumen von 1 Mio. Dokumenten haben wir eine spezialisierte Verarbeitungs-Pipeline, die inkrementelle Aktualisierungsläufe und eine Deduplizierung mittels Content-Hashing ermöglicht.
2. Identifizierte Lücken und Entwicklungsplan Die spezifischen Herausforderungen der nuklearen Entsorgung und der vorhandenen IT-Infrastruktur adressieren wir durch gezielte Erweiterungen unserer bestehenden Plattform:
Erweiterung der AD-Integration: Während Goldfinch bereits modernes SSO unterstützt, erweitern wir das System für die JEN um eine native LDAP/AD FS-Anbindung sowie ein automatisches Mapping von AD-Gruppen auf interne Rollenberechtigungen.
Implementierung von Enterprise-Konnektoren: Unser vorhandenes Integrations-Framework wird gezielt um Adapter für die DMS-Systeme nscale und windream sowie um einen dedizierten SMB-Konnektor für lokale Netzlaufwerke erweitert.
Aufbau der Citation Engine: Wir ergänzen das RAG-System um eine spezialisierte Engine, die strikte Quellennachweise erzwingt. In der UI werden hierzu klickbare Zitat-Badges integriert, die das Quelldokument an der exakten Fundstelle öffnen.
3. Realistischer Zeitplan und Phasenmodell
Um einen schnellen Erfolg für die JEN zu garantieren, schlagen wir eine zweigeteilte Umsetzung vor. Der kalkulierte Entwicklungsaufwand für diese Anpassungen beträgt insgesamt ca. 30 Peros.
Phase 1: Pilotbetrieb (Woche 1–12): Deployment der Basis-Plattform (Goldfinch + LLM Node + LiteParse) auf JEN-Hardware, Anbindung von SharePoint/SMB sowie Aufbau der Ingestion-Pipeline für einen repräsentativen Test-Bestand.
Phase 2: Produktionsreife & Skalierung (Anschluss-Phase, +4–8 Wochen): Vollständige Indizierung der 50 TB Daten inklusive Deduplizierung, Integration der DMS-Systeme nscale/windream sowie Finalisierung des feingranularen Berechtigungs-Mappings und des Audit-Loggings.
1. On-Premises Souveränität: Unser Modell ist ein reiner On-Premises-Betrieb innerhalb der IT-Infrastruktur (K8s-Cluster) der JEN. Es bestehen keinerlei Cloud-Abhängigkeiten.
Infrastruktur: Die Lösung wird als Container-Stack bereitgestellt. Die Inferenz des LLMs erfolgt lokal via vLLM auf dezidierter GPU-Hardware (siehe unten)
Datenspeicherung: Originaldokumente verbleiben verschlüsselt in einem S3-kompatiblen Objektspeicher (MinIO), während die Metadaten und Vektoren in einer lokalen Datenbank (pgvector oder Qdrant) verwaltet werden.
Wartung: Die Plattform ist für die eigenständige Administration durch das IT-Personal der JEN ausgelegt. Zur Überwachung werden Standard-Tools wie Prometheus und Grafana integriert.
2. Geschätzter Integrationsaufwand Basierend auf unserer Erfahrung mit der Goldfinch-Plattform kalkulieren wir für die JEN-spezifischen Anpassungen (Konnektoren, Permission-Mapping, Skalierung) einen Gesamtaufwand von 30 bis 35 Personentagen.
Dieser Aufwand gliedert sich in:
Konfiguration & Basis-Setup (ca. 2 Tage): Bereitstellung der Shared Services (LLM Node, LiteParse).
Modulare Erweiterungen (ca. 10 Tage): Anpassung der SharePoint- und SMB-Konnektoren sowie Integration der AD-Authentifizierung.
Kernentwicklung & Enterprise-Integration (ca. 15–20 Tage): Ingestion-Pipeline für 1 Mio. Dokumente, Entwicklung der spezifischen DMS-Konnektoren (nscale, windream) sowie die Implementierung des Rollenkonzepts iin das sicherheitskritischen, berechtigungsabhängigen RAG-Systems (ACL-Mapping).
3. Pilotvorgehen (Proof of Concept) Um das Projektrisiko zu minimieren, schlagen wir ein 12-wöchiges Pilotphasen-Modell vor:
Setup-Phase (Woche 1–2): Installation der Goldfinch-Basisumgebung und der lokalen Inferenz-Einheit (gpt-oss-120b) in der Testumgebung der JEN.
Konnektivitäts-Phase (Woche 3–4): Anbindung der ersten Datenquellen (SharePoint & SMB-Shares) und Initialisierung der AD-Schnittstelle.
Ingest-Phase (Woche 5–6): Indizierung eines repräsentativen Pilot-Bestands von ca. 10.000 Dokumenten mittels der neuen Ingestion-Pipeline und LiteParse.
Expert-Testing (Woche 7–9): Ein ausgewähltes Expertenteam der JEN testet das System mit realen Fachabfragen. Fokus: RAG-Qualität, Zitationsgenauigkeit und Verifikation der Berechtigungsfilter.
Refinement (Woche 10–12): Optimierung der Prompt-Strategien, Performance-Tuning der Suche und Abschlussbericht inklusive Roadmap für den vollständigen Rollout auf 350 Nutzer und 50 TB Daten.
Durch dieses schrittweise Vorgehen stellen wir sicher, dass die JEN bereits nach drei Monaten ein funktionsfähiges, validiertes System besitzt, das anschließend gezielt auf die volle Datenmenge skaliert werden kann.
Grobe Einschätzung zu Infrastruktur- und Sizing-Annahmen
Für den stabilen Betrieb von Goldfinch innerhalb der JEN-Infrastruktur setzen wir auf eine verteilte Architektur. Diese besteht aus einem hochperformanten „Intelligence Hub“ für die KI-Modelle und einem 6-Knoten-Cluster für die Anwendungslogik, Datensuche und Dokumentenverarbeitung.
1. Der Intelligence Hub (GPU-Rechenknoten) Dieser Knoten dient primär der lokalen Modell-Inferenz:
GPU: NVIDIA RTX PRO™ 6000 Blackwell (neueste Generation). Sie liefert die notwendige Rechenpower für das gpt-oss-120b Modell sowie das performante Embedding der Dokumente.
System-RAM: 256 GB DDR5 ECC (optional erweiterbar auf 768 GB). Dieser massive Arbeitsspeicher dient als schneller Puffer für Modell-Gewichte und großflächiges Caching von Suchanfragen.
Disk: 2 x 960 GB NVMe SSD (RAID 1) für extrem schnellen Zugriff auf Modell-Dateien und System-Logs.
2. Der Service- & Scaling-Cluster (6 x Knoten) Die eigentliche Applikation und die Datenverarbeitung werden auf sechs identische Knoten verteilt, was eine hohe Ausfallsicherheit und parallele Skalierung ermöglicht:
Ressourcen pro Knoten: 12 AMD vCPUs/Kerne, 24 GB RAM, 480 GB SSD.
Gesamtleistung des Clusters: 72 Kerne, 144 GB RAM, ca. 2,8 TB SSD-Kapazität.
Aufgabenverteilung innerhalb des Clusters:
Load Balancer & Application Core: Verteilung der 350 Nutzerzugriffe und Hosting der Goldfinch-Frontend/Backend-Services.
Search Engine (Qdrant/pgvector): Der Vektor-Index wird über diese Knoten verteilt, um blitzschnelle Suchanfragen über 1 Million Dokumente bei gleichzeitiger Last zu garantieren.
Dokumentenerkennung & OCR (LiteParse): Die 72 CPU-Kerne ermöglichen eine massive Parallelisierung der Dokumenten-Extraktion. Dies ist entscheidend, um die initialen 50 TB Datenbestand zeitnah zu erschließen.
3. Speicherplatz (Bulk-Storage) Da die Lösung 50-75 TB an Bestandsdaten erschließt, wird der Cluster an einen zentralen Enterprise-Speicher (z. B. SAN/NAS oder ein lokales S3-kompatibles MinIO-System) angebunden. Die 6 SSD-Einheiten der Cluster-Knoten dienen dabei als schneller Cache für die aktive Suche und die Index-Verwaltung.
BWI GmbH, Landtag Mecklenburg Vorpommern, Stadt Bad Dürrheim
1. Technologische Souveränität ohne Vendor-Lock-in Im Gegensatz zu proprietären Cloud-Lösungen setzt Goldfinch konsequent auf Open-Weight-Modelle (wie gpt-oss-120b) und Open-Source-Komponenten (wie vLLM, Qdrant und LiteParse).
Unabhängigkeit: Die JEN ist nicht von der Preispolitik oder den Produktlebenszyklen externer US-Cloud-Anbieter abhängig.
Langlebigkeit: Da der Quellcode und die Modelle lokal vorliegen, kann das System auch ohne Internetverbindung oder externe Unterstützung über Jahrzehnte betrieben werden.
2. „Plug-and-Play“-Modularität für zukünftige Innovationen Die KI-Entwicklung verläuft rasant. Unsere Architektur ist daher so konzipiert, dass jede Kernkomponente einzeln aktualisiert werden kann, ohne das Gesamtsystem zu gefährden:
Modell-Agnostik: Sobald leistungsfähigere LLMs oder spezialisierte deutsche Embedding-Modelle erscheinen, können diese über das Konfigurations-System (
profile-config.json) innerhalb weniger Stunden ausgetauscht werden.
Zukunftssichere Inferenz: Durch die Nutzung der OpenAI-kompatiblen API-Schnittstelle von vLLM bleibt die Kommunikation zwischen Anwendung und KI-Modell standardisiert und zukunftssicher.
Skalierbare Daten-Pipeline: Das Ingestion-Framework ist so modular aufgebaut, dass neue Datenquellen (z. B. zukünftige DMS-Generationen) oder verbesserte Parser-Technologien jederzeit als Plugin integriert werden können.
3. Wartbarkeit durch industriellen Standard-Stack Wir nutzen Technologien, die das Rückgrat der modernen Softwareentwicklung bilden (TypeScript, Next.js, PostgreSQL, Kubernetes). Dies garantiert der JEN:
Verfügbarkeit von Fachkräften: Die gewählten Programmiersprachen und Frameworks sind Industriestandard, was die Wartung durch eigenes Personal oder externe Partner über die nächsten 10 Jahre sicherstellt.
Stabile Infrastruktur: Docker und Kubernetes bieten eine abstrahierte Umgebung, die auch auf zukünftigen Hardware-Generationen und Betriebssystemen ohne aufwendige Portierung lauffähig bleibt.
4. Roadmap 2026–2030 Unsere Produktstrategie sieht für die kommenden Jahre folgende Schwerpunkte vor:
Agentic Workflows: Weiterentwicklung von einfachem RAG hin zu autonomen KI-Agenten, die komplexe regulatorische Prüfprozesse in der Nuklearentsorgung unterstützen können.
Multimodale Analyse: Erweiterung der Ingestion-Pipeline auf die Analyse von Video-Dokumentationen (z. B. Rückbau-Aufnahmen) und Audio-Archiven.
Potentiell: Automatisierte Compliance: Integration von Tools zur automatisierten Überprüfung von Antworten gegen gesetzliche Normen und interne Sicherheitsvorschriften der JEN.
