BasePeak.AI - KI Plattform mit RAG-Fokus
Die BasePeak GmbH (Dormagen, gegr. 2025) entwickelt und betreibt eine Open-Source basierte, souveräne KI-Infrastruktur Plattform (BasePeak.AI) und kombiniert diese mit einer Orchestrierungslösung für digitale Workspaces (BasePeak.WORK) zu einer Kollaborationsfläche für Menschen und KI-Agenten.
Der Fokus liegt auf der Entwicklung für die öffentliche Verwaltung und regulierte KMUs mit entsprechenden Datenschutz- und Souveränitätsanforderungen. Dabei werden sowohl On-Premise als auch SaaS/PaaS Deployment Modelle berücksichtigt.
BasePeak.AI besteht aus mehreren Bausteinen:
Integration von Authentifizierungs- und KI-Modell-Anbietern (öffentliche, lokale, internationale, europäische und deutsche Anbieter)
Wissensdatenbank-Management: Anbinden verschiedener Datenquellen (SMB/CIFS, Sharepoint, OneDrive, Notion, Nextcloud, WebDAV, etc.) mit automatischer Synchronisierung und flexibel gestaltbaren Parse- & Ingestion-Pipelines
No-Code Agenten-Baukasten: Tätigkeit beschreiben, Werkzeuge verknüpfen, Wissensdatenbanken anbinden, Personen und LLMs freigeben
Chat-Interface mit Text-/Spracheingabe, Schnellaktionen und sprachbasierten Arbeitsabläufen (Tasks)
BasePeak.AI verfolgt ein modulares Plattformkonzept. Kein Modellzwang, kein Vendor-Lockin. Alle Einstellungen sind frei konfigurierbar.
BasePeak.AI baut auf einem offenen Plattformkern (Go-Backend, Svelte-Frontends) auf, der eine Kubernetes-ähnliche Ressourcenwelt (Agenten, Threads, Tools, Wissensquellen, Modellanbieter) auf einer SQL-Datenbank (PostgreSQL) abbildet. Die Reconciliation-Logik folgt etablierten Mustern aus dem Cloud-Native-Umfeld; das macht das System gut beobachtbar, deklarativ konfigurierbar und nachvollziehbar.
Die RAG Komponente "Knowledge" kann vollständig eingebettet oder separat (horizontal skalierbar) betrieben werden und setzt im Hintergrund auf PGVector/pgvectorscale oder (für kleine Deployments und Testumgebungen) auf sqlite-vec.
Jede Antwort eines KI-Agenten/-Assistenten ist vollständig transparent nachvollziehbar - für den User im Chat und für Auditoren im zentralen Log-Verlauf.
Der RAG-Stack - "Knowledge"
Der Datenstrom in Knowledge besteht aus 3 frei konfigurierbaren Stufen, welche gemeinsam einen "Flow" bilden.
1. Loading
Dokumente werden bei Bedarf konvertiert (bspw. doc oder eml/msg), extrahiert, geparsed, vorverarbeitet und gechunked. Standardmäßig verwenden wir dabei einen hybriden Ansatz, welcher auf Vision-Language-Models mit Layout-Extraktion aufbaut. Am Ende entsteht hier aus jedem Dokument eine strukturierte JSON-Meta-Datei mit formatiertem Markdown und entsprechend angereicherten Metadaten.
2. Ingestion
Im Ingestion Schritt können die Daten nochmals transformiert (bspw. noch mehr Metadaten angereichert) werden und werden schließlich mit dem gewählten Embedding-Modell in Vektoren umgewandelt und in die Vektor-Datenbank überführt (standardmäßig pgvector).
Auch Entitäten und Relationen können in diesem Schritt oder bereits teilweise während des "Loading" Schritts extrahiert werden.
3. Retrieval
Standardmäßig bedient sich das Retrieval einer hybriden BM25/Cosine-Similarity Suche mit einem Reciprocal Rerank Fusion Ansatz. Auch hier kann die Strategie völlig frei angepasst werden (Embedding Modelle, Q&A-Fanout, Reranker, etc.).
Knowledge kann unabhängig und eigenständig, getrennt von der BasePeak.AI Plattform betrieben und skaliert werden.
Die dort generierten Wissensdatenbanken können auch in anderen KI-Systemen genutzt werden. Ebenfalls ist der Import/Export von Wissensdatenbanken möglich.
BasePeak.AI ist bereits als self-service SaaS buchbar und in erster Instanz on-premise seit Juni 2025 bei der Stadtverwaltung Dormagen im Einsatz.
Bei allen Komponenten unserer Software setzen wir primär auf etablierte Open Source Software, mit speziellem Fokus auf Linux Foundation Projekte, da diese eine hohe Wartbarkeit aufweisen, bspw.:
Orchestrierung: Kubernetes (K3s oder Talos)
LLM-Management: KubeAI (kleine Deployments) oder llm-d (große Deployments)
Mistral LLMs/VLMs
BasePeak.AI ist damit ein marktreifes Produkt im aktiven produktiven Einsatz - erprobt in einem der sensibelsten Marktsegmente.
BasePeak.AI ist spezialisiert auf vollständig lokalen Betrieb: Lokale KI-Modelle, lokale Daten, lokale App-Integrationen, Betrieb auf flexibel dimensionierbaren Kubernetes Clustern
RAG/Knowledge ist eine der wichtigsten Komponenten in unserem System mit der höchsten Anpassbarkeit an die bestehenden Gegebenheiten
Gruppen- und RBAC-Management ist bereits Bestandteil von BasePeak.AI und Gruppen können bereits aus dem Authentifizierungsanbieter synchronisiert werden
Quellenreferenzen sind in jeder Antwort über eigene Daten Pflicht - bei schlechter Datenlage wird die transparente Darlegung der Umstände strikt erfordert ("Refusal-First")
Alle Komponenten sind so entwickelt, dass sie möglichst austauschbar und einfach konfigurierbar sind, sodass einzelne Module schnell ausgetauscht werden können (Mehrere Modellanbieter, flexible RAG-Flows, etc.)
BasePeak.AI ist bereits im Verwaltungsumfeld mit hohen Datenaufkommen und hohen Datensicherheitsanforderungen sowie schwierigen Netzwerkbedingungen erprobt
Durch den Fokus auf öffentliche Verwaltung und regulierte Bereiche ist die Plattform auf hohe Transparenz und Nachvollziehbarkeit KI-gestützter Antworten optimiert.
Vorhanden
Vollständig lokaler Betrieb (Kubernetes Umgebung, Helm Charts vorhanden)
Lokale Inferenz: vLLM über KubeAI oder llm-d und direkte Anbindung in die BasePeak.AI Plattform über entsprechende Konnektoren
Datenquellen-Konnektoren: SMB/CIFS, OneDrive, SQL-Server, WebDAV, Nextcloud, Notion, Websites
Hybrides Retrieval: Standardmäßig BM25 + semantisch
(Vektor-)Datenbank: standardmäßig PGVector
Quellenbasierte Antworten mit Zitaten und In-Chat-Preview der Quellen
Multimodale Dokumentenverarbeitung, besonders textuell/visuell
Inkrementelle Aktualisierung von Datenquellen (mtimes)
Dubletten-Erkennung über Content-Hashes
Embedding-Reusal
Flexibles Chunking
OIDC-Anbindung
Gruppen-Rollen-Mapping
Open-Telementry-Metriken
Audit- und Transparenz-Logs
Ausbaufähig / Fehlend
Multimodale Embeddings/Retrieval, inkl. Audio/Video [1 Woche]
Erweiterung der Graphen-Fähigkeiten (GraphRAG) [1-2 Wochen]
Zusätzliche Konnektoren (bspw. nscale) - kurzfristig umsetzbar [2 Tage]
Berechtigungspropagation auf Dokumenten- bzw. Chunk-Ebene - Existiert bisher nur auf Knowledge Set (Wissensdatenbank) Ebene [3 Tage]
Versionierung mit Behalten älterere Stände (derzeit überschreibender Upsert) [1 Woche]
Text-to-Speech Ausgabe [2 Tage]
Ein einfaches On-Premise Setup auf bereits bestehenden Servern mit entsprechenden Grafikkarten ist (inkl. Setup der Kubernetes Umgebung, falls nicht vorhanden) innerhalb einer bis zwei Wochen aufsetzbar, je nach Umfang der Pilotierungs-Umgebung.
Als Ergebnis steht dementsprechend die vollständige BasePeak.AI Plattform samt Dateninfrastruktur, erster Anbindungen an interne Systeme, einer Wissensdatenbank und einem Assistenten, welcher auf diese sowie weitere Werkzeuge/Integrationen zugreift. Getrieben von internen und/oder externen KI-Modellen.
Als einfachste Form des Piloten kann selbiges auch in unserer SaaS-Umgebung repliziert werden in wenigen Tagen und mit Anbindung externer KI-Modelle.
Je nach Anforderung rechnen wir mit 24B-70B KI-Modellen, wodurch 96GB-141GB VRAM zum effizienten Betrieb mit entsprechend großen Kontextfenstern und KV-Caches benötigt werden. MoE Modelle mit weniger aktiven Parametern werden hier für eine höhere Parallelisierung bevorzugt.
Für den Piloten mit ~10-25 Nutzern würde folgende Dimensionierung eine gute Performance bieten:
1x GPU-Server mit 2-4x Nvidia RTX Pro 5000 Blackwell (96GB) oder 1x Nvidia H200 - Ausreichend für bspw. Mistral Small 4 + Embedding-Modell + Speech-to-Text
1x Anwendungsserver: 1-2x 64 CPU, 256GB RAM, ~10TB SSD (NVMe) - Hohe CPU-Nutzung durch Dateiformatskonvertierungen
Netzwerk: 10GbE intern, Internetzugang je Bedarf (Komponenten-Updates oder Agenten mit Internetzugriff)
Im Produktivbetrieb kommen zusätzlich Speicher-Server (Objektspeicher) und Datenbankserver (Vektordatenbanken) sowie bedarfsweise entsprechende Storage-Netzwerke hinzu.
Die Stadt Dormagen nutzt BasePeak.AI bereits seit Juni 2025 produktiv. Dort sind mehrere Agenten/Assistenten und Wissensdatenbanken mit einigen Tausend Dokumenten und automatischer Pflege im Einsatz.
Durch die Quellenreferenzen und Transparenz der Lösung sind so selbst Entscheidungsvorbereitungen mit hochsensiblen Daten möglich.
In einem Verbund mehrerer öffentlich bestellter Vermessungsbüros kommt BasePeak.AI zur Nutzbarmachung veralteter Geschäftsbuch-Software zum Einsatz, wobei die Konnektoren innerhalb kürzester Zeit nachgerüstet werden.
Da wir im Unterbau vollständig auf Open Source Software aufsetzen, gehen wir stets auf technologische Trends ein, die sich manifestieren. Die Lebenszyklus-Stufen der Linux-Foundation bzw. der CNCF sind hierbei gute Orientierungshilfen.
Auch unsere Software soll mittelfristig vollständig Open Source bereitgestellt werden, sobald die notwendigen Sicherheitsfreigaben vorliegen und die rechtlichen Grundlagen geschaffen sind.
Durch die Modularität und Flexibilität unseres Plattform-Ansatzes machen wir uns unabhängig von Vendor-Lockins und Trend-Lockins.
Derzeit unterstützen wir bspw. neben dem Industriestandard für KI-Integrationen - MCP - auch GPTScript, welches eine einfache Entwicklung eigener KI-Werkzeuge durch einen Mix aus natürlicher Sprache und klassischer Programmierarbeit möglich macht.
Ein Teil unserer Roadmap umfasst:
MCP-Gateway Management Integration
GraphRAG-Integration
Agenten-Marktplatz
Integration vollautonomer Agentensysteme
Auf organisatorischer Ebene streben wir im nächsten Jahr die DACH-Festigung und ab 2028 die EU-Expansion an, wobei die Souveränität für uns im Vordergrund steht.
