Eine erfolgreiche Demo beweist, dass ein Agent einen sichtbaren Weg bewältigen kann. Produktion stellt die schwierigere Frage: Versteht die Organisation, was geschieht, wenn dieser Weg sich verändert?
Ein Agent interpretiert Absicht, wählt Tools, übergibt Parameter, verwendet Resultate und entscheidet über den nächsten Schritt. Die finale Antwort kann korrekt wirken, obwohl der Prozess darunter verschwenderisch, fragil oder unsicher war. Umgekehrt kann eine schlechte Antwort durch schwaches Retrieval, ein fehlerhaftes Tool oder eine unklare Instruktion entstehen—nicht durch das Modell.
Sieht das Team nur den Output, wird jeder Incident zur Vermutung.
Observability ist deshalb kein technisches Extra nach dem Deployment. Sie ist die Evidenzschicht, die Agentenbetrieb überhaupt ermöglicht.
Logs sind notwendig, aber nicht ausreichend
Klassische Logs zeigen, dass eine Anfrage stattfand, wie lange sie dauerte und ob eine Komponente einen Fehler meldete. Agentensysteme benötigen zusätzlich den Weg durch die Arbeit.
Ein nützlicher Trace macht mehrere Momente prüfbar:
- die empfangene Absicht;
- den gewählten Plan oder Pfad;
- Tools und übergebene Parameter;
- die von Tools gelieferte Evidenz;
- den Punkt von Aktion, Eskalation oder bewusstem Nicht-Handeln;
- Latenz und Kosten entlang des Pfads.
Tracing bedeutet nicht, alles unbeschränkt aufzuzeichnen. Sensible Inputs, Outputs und Tool-Resultate brauchen bewusste Redaction, Aufbewahrung und Zugriffskontrolle. Sichtbarkeit ohne Datendisziplin erzeugt nur eine neue Risikofläche.
Bewerten Sie Ergebnis und Prozess getrennt
Ein Agent kann über den falschen Prozess zu einer plausiblen Antwort gelangen.
Messen Sie mindestens vier Evidenzspuren:
- Ergebnis: Wurde die Aufgabe in nutzbarer Qualität abgeschlossen?
- Prozess: Wurden die richtigen Tools, gültige Parameter und die vorgesehene Grenze verwendet?
- Guardrail: Wurden sensible Daten geschützt, richtige Fälle eskaliert und verbotene Aktionen vermieden?
- Wirtschaftlichkeit: Rechtfertigt die Qualität Latenz, Token-Verbrauch, Evaluationskosten und menschliches Review?
Kein einzelner Score steht für Produktionsreife. Eine hochwertige Antwort mit unkontrollierter Tool-Nutzung ist nicht bereit. Ein vollständig regelkonformer Ablauf, den Nutzer vermeiden, ebenfalls nicht.
Verwandeln Sie Production Traces in Lernen
Testsets vor dem Deployment sind unverzichtbar. Sie bleiben unvollständig, weil reale Nutzer Kombinationen erzeugen, welche das Designteam nicht vorausgesehen hat.
Nutzen Sie Traces für:
- wiederkehrende Fehler;
- neue Intents;
- unnötige Tool Calls;
- langsame oder teure Pfade;
- Fälle, in denen Menschen dasselbe Verhalten wiederholt korrigieren;
- erfolgreiche Ausnahmen, die zu einem gestalteten Muster werden sollten.
Überführen Sie repräsentative Fälle in ein Regression Set. Führen Sie es aus, wenn Prompts, Tools, Modelle, Berechtigungen oder Wissensquellen wechseln. Ziel ist kein perfekter Benchmark, sondern wachsendes institutionelles Gedächtnis darüber, was der Agent weiterhin gut können muss.
Bauen Sie eine Betriebsreaktion, nicht nur ein Dashboard
Ein Dashboard, das niemand nutzt, ist dekorierte Unsicherheit.
Definieren Sie, was bei einer Grenzüberschreitung geschieht:
- Wer erhält den Alert?
- Kann der Agent oder eine einzelne Fähigkeit pausiert werden?
- Wer entscheidet, ob Daten, Tool, Prompt, Modell oder Workflow die Ursache sind?
- Welche Evidenz wird bewahrt?
- Wann müssen Nutzer oder Stakeholder informiert werden?
- Welcher Test verhindert die Wiederholung?
Observability schafft Wert, wenn sie den Weg von unerwartetem Verhalten zu einer verantwortlichen Entscheidung verkürzt.
Der stärkste Einwand: «Evaluation ist ebenfalls unvollkommen»
Richtig. Automatische Evaluatoren können inkonsistent sein. LLM Judges können Kontext übersehen oder oberflächliche Qualität belohnen. Menschliches Review ist teuer und variabel.
Das ist kein Grund für evidenzlosen Betrieb. Es ist ein Grund für Triangulation.
Kombinieren Sie deterministische Prüfungen für Berechtigungen und Parameter, domänenspezifische Qualitätsbewertungen, stichprobenartiges Human Review und operative Wirkungssignale. Kalibrieren Sie Evaluatoren gegen Beispiele, auf die sich Fachpersonen einigen. Evaluation ist ein gemanagtes Messsystem, kein Orakel.
Der Produktionsreifetest
Wählen Sie eine wichtige Agentenaktion. Lassen Sie das Team eine reale Ausführung von Absicht bis Ergebnis rekonstruieren—inklusive Tool Calls, Quellen, Entscheidungsgrenzen, Latenz und Kosten.
Fragen Sie danach: Welche Person kann dieses Verhalten heute pausieren, und mit welcher Evidenz würde sie es wieder starten?
Sind Pfad oder Autorität unklar, kann der Agent deployed sein. Operational ist er noch nicht.
Produktionsreife ist nicht die Abwesenheit von Fehlern. Sie ist die Fähigkeit der Organisation, Fehler zu sehen, zu verstehen und zu beantworten, bevor Unsicherheit zu Schaden wird.
English edition: An Agent Is Not Production-Ready Until Its Decisions Are Observable
Quellen und Einordnung
- Microsoft Foundry: Observability in Generative AI
- Microsoft Foundry: Agent Evaluators
- Microsoft Foundry: externe Agenten für Observability und Evaluation registrieren
- Microsoft Cloud Adoption Framework: sicherer Agentenprozess
Redaktioneller Hinweis: Produktfunktionen, Preview-Status und Preise verändern sich. Prüfen Sie vor der Umsetzung die aktuelle Dokumentation.
