Azure Cosmos DB Conference 2025

Im Rahmen der Azure Cosmos DB Conference 2025, organisiert von Microsoft, hatte ich die Gelegenheit, in einem kurzen Lightning Talk einige zentrale Erkenntnisse aus unserer Arbeit mit AI-Agenten vorzustellen. In nur fünf Minuten habe ich gezeigt, wie wir ein System entwickelt haben, das es mehreren spezialisierten KI-Agenten erlaubt, effizient zusammenzuarbeiten – mit Hilfe von Azure Cosmos DB.

Die Idee: Nicht ein grosser Agent, sondern viele kleine

Seit über zwei Jahren entwickeln wir bei bbv Software Services AG in Zürich ein System, das auf der Zusammenarbeit mehrerer spezialisierter AI-Agenten basiert. Der zentrale Gedanke dabei: Anstatt einem generalistischen Modell sämtliche Aufgaben zu übertragen, teilen wir diese auf spezialisierte Agenten auf, die jeweils für einen spezifischen Teilaspekt zuständig sind.

„Ein Agent mit einem spezifischen Wissen ist einfacher zu steuern, driftet weniger vom Kontext ab und ist dadurch wesentlich zuverlässiger.“

Diese Aufteilung macht das Gesamtsystem nicht nur robuster, sondern erlaubt es auch, komplexe Aufgaben effizienter zu bearbeiten. Allerdings bringt die Koordination zwischen mehreren Agenten auch neue Herausforderungen mit sich.

Kommunikation unter Agenten: Mehr als nur Text

Zunächst erschien es naheliegend, die Kommunikation zwischen Agenten einfach über Text abzuwickeln – schliesslich sind Sprachmodelle darauf trainiert. Doch schnell zeigte sich, dass es dafür deutlich mehr Struktur braucht.

„Ein Agent muss wissen, was die anderen Agenten leisten können – nur dann kann er sinnvoll interagieren.“

Um diese Interaktion zu ermöglichen, haben wir uns unter anderem vom Model Context Protocol (MCP) inspirieren lassen, das von Anthropic vorgeschlagen wurde. Dieses Protokoll unterscheidet zwischen Clients (z.B. LLMs) und Servern, die bestimmte Informationen bereitstellen oder Aktionen ausführen. Diese Server stellen sogenannte Tools zur Verfügung – klar beschriebene Funktionen mit definierten Eingaben und erwarteten Ausgaben.

Agenten als Clients und Server

Was das mit Agenten zu tun hat? Ganz einfach: Ein Agent kann sowohl in der Rolle des Clients als auch des Servers agieren. Ein Beispiel aus unserem System: Ein Agent wird beauftragt, eine Wetterauskunft zu geben. Anstatt das Wissen selbst zu besitzen, kann er auf einen anderen Agenten zugreifen, der eine „Wetter-API“ anbietet.

„Durch die Veröffentlichung von Tool-Definitionen werden Agenten gegenseitig zugänglich – sie lernen, aufeinander zu bauen.“

Diese Modularisierung erlaubt es, ein Netzwerk von Agenten aufzubauen, das flexibel erweiterbar ist. Doch nicht jede Aufgabe lässt sich mit einem einzigen API-Aufruf lösen – komplexere Aufgaben erfordern Koordination und Fortschrittsverfolgung.

Aufgaben strukturieren: Runs, Threads und Zustände

Um komplexe Abläufe strukturieren zu können, setzen wir auf Konzepte wie Runs und Threads, wie sie auch in LangChain beschrieben sind. Ein Thread bündelt alle Schritte eines grösseren Vorhabens (z.B. eine Urlaubsbuchung), während ein Run eine einzelne Aktion innerhalb dieses Kontexts darstellt (z.B. Flug buchen).

„Komplexe Aufgaben erfordern ein internes Zustandsmodell – das war für uns ein zentraler Aspekt bei der Orchestrierung der Agenten.“

Hier kommt Azure Cosmos DB ins Spiel: Wir nutzen die Datenbank, um den Zustand dieser Abläufe zuverlässig zu speichern. Sowohl Runs als auch Threads werden in Cosmos DB abgelegt, ebenso wie die Tool-Definitionen unserer Agenten.

Warum Cosmos DB?

Cosmos DB bietet uns genau die Flexibilität und Geschwindigkeit, die wir für unser System brauchen: ein schemaloses Datenmodell, konsistente Latenzzeiten und globale Verfügbarkeit.

„Die flexible Struktur und Echtzeit-Synchronisation von Cosmos DB ermöglichen es uns, Agentenzustände weltweit aktuell zu halten.“

Gerade in der heutigen dynamischen AI-Landschaft ist es entscheidend, schnell auf neue Entwicklungen reagieren zu können. Cosmos DB unterstützt uns dabei, neue Protokolle zu testen, Tool-Definitionen zu ändern oder die interne Logik der Agenten zu verbessern – ohne aufwändige Migrationen.

Agenten jenseits des Unternehmensgrenzens

Zum Abschluss meines Talks habe ich den Blick etwas geweitet. Die meisten Unternehmen bauen aktuell Agenten nur für den internen Gebrauch. Doch ich bin überzeugt, dass die wahre Stärke in der Kooperation über Unternehmensgrenzen hinweg liegt.

„Ich stelle mir eine Welt vor, in der Agenten vermietet, über APIs eingebunden, Verträge aushandeln und gemeinsam Projekte umsetzen.“

Dafür braucht es gemeinsame Protokolle – und Systeme, die bereit sind, sich mit der Aussenwelt zu vernetzen. Deshalb verfolgen wir die Entwicklungen rund um Protokolle wie das Model Context Protocol genau. Mit der jüngsten Ankündigung von OpenAI, dieses Protokoll künftig zu unterstützen, sehen wir eine klare Richtung.

„Wir passen unser System laufend an neue Standards an – mit Cosmos DB als zentrale Plattform für Agenten, Werkzeuge und Zustände.“

Dieser Talk war für mich eine Möglichkeit, unsere Erfahrungen zu teilen – und vielleicht auch andere Entwicklerinnen und Entwickler zu inspirieren, ihre Agentensysteme stärker in Richtung Modularität und Kollaboration zu denken.