Swiss AI Hub

Ausgangslage

Schweizer Unternehmen, die KI ernsthaft einsetzen wollen, bauen immer wieder denselben Stack: eine Vektordatenbank, eine Ingestion-Pipeline, ein LLM-Gateway, eine Chat-Oberfläche. Der Prototyp ist schnell gebaut. Aufwendig wird der Betrieb: Login über alle Dienste, Kosten pro Abteilung, Schutz von Personendaten, Nachvollziehbarkeit jeder Antwort und Updates von Dutzenden Containern. Dazu kommt, dass viele Daten die eigene Infrastruktur oder zumindest die Schweiz nicht verlassen dürfen. Cloud-Plattformen von US-Anbietern fallen damit oft weg.

Die Plattform

Der Swiss AI Hub erfindet diese Bausteine nicht neu, sondern verbindet bewährte Open-Source-Projekte zu einem Stack, der sich mit einem einzigen Befehl installieren lässt: LiteLLM als Gateway zu lokalen und externen Modellen, Milvus und LlamaIndex für RAG, Dagster für die Datenpipelines, Keycloak für Login und Mandanten, Langfuse und OpenTelemetry für Tracing. Agenten kommunizieren über ein gemeinsames Event-Protokoll auf NATS JetStream und sind über API, MCP, Teams und Slack erreichbar. Auf Wunsch läuft alles komplett lokal, ohne dass Daten das Haus verlassen.

Entwickelt wurde die Plattform im KI-Team von bbv, heute ist sie Open Source.

Mein Beitrag

Ich war Dev Lead und Solution Architect des Hubs, verantwortlich für Deployment und DevOps, und habe als Projektleiter die Kundenprojekte geführt, die auf der Plattform aufbauen. Im heute öffentlichen Repository stehen über 100 Commits von mir. Schwerpunkte waren:

• Deployment und DevOps: Ich habe verantwortet, wie der Hub gebaut, ausgeliefert und betrieben wird: die Infrastruktur als Code für Azure, die Docker-Compose-Installation, versionierte GitHub-Releases als installierbares Paket und die CI/CD-Pipelines, die alle Images bauen und taggen.
• Kundenprojekte auf dem Hub: Als Dev Lead und Projektleiter habe ich Kundenprojekte von der Use-Case-Identifikation im Workshop über den Proof of Concept bis zum MVP geführt, inklusive Architektur- und Sicherheitskonzept. Was dort gebraucht wurde, floss direkt in die Plattform zurück.
• Agent-Runtime: Agenten-Typen wie der Few-Shot-Agent, die agentenunabhängige Verwaltung von Gesprächsthreads und die Übergabe an Menschen (Human in the Loop), dazu Guards, die prüfen, ob der gefundene Kontext für eine Antwort ausreicht.
• RAG-Pipeline: Dateien direkt über die API übergeben, angereicherte Metadaten beim Ingest, Retriever mit Metadatenfiltern zur Laufzeit und Alarmierung, wenn eine Dagster-Pipeline fehlschlägt.
• Login und Mandanten: die Integration von Keycloak in die Plattform, ein User-Service auf Basis der Keycloak-Daten, Mandanten-Handling beim Login und Integrationstests dafür.
• Evaluation und Tracing: die Infrastruktur, mit der sich Antworten der Agenten nachvollziehen und bewerten lassen, zuerst mit Phoenix, später mit Langfuse.

Was ich gelernt habe

Der grösste Aufwand einer KI-Plattform steckt nicht in den Agenten, sondern in allem darum herum: Login, Mandanten, Releases, Upgrades und Nachvollziehbarkeit. Genau diese Arbeit entscheidet, ob ein Unternehmen eine Plattform selbst betreiben kann. Und wer bewährte Open-Source-Projekte kombiniert, statt sie nachzubauen, bekommt deren Weiterentwicklung gratis dazu.