Seminar AgentOps Kompakt End-to-End

Das Kompaktformat konzentriert sich auf die unverzichtbaren AgentOps-Bausteine. An einem durchgängigen Beispiel werden Testfälle, Evaluatoren, Traces, Metriken, Qualitätsgates und Betriebsmaßnahmen so verbunden, dass aus einem Prototyp ein kontrollierbarer Dienst wird.

Nutzen

Teilnehmende verstehen den gesamten Betriebszyklus und setzen eine minimale, aber belastbare AgentOps-Kette praktisch um. Das Seminar schafft eine gemeinsame Grundlage für Entwicklung, QA, Plattformbetrieb und technische Produktverantwortung.

Lernziele

• kritische Agentenrisiken und Qualitätsziele bestimmen
• eine kleine automatisierte Test- und Evaluationssuite erstellen
• Agentenläufe mit Traces, Metriken und Logs nachvollziehbar machen
• Qualitäts-, Kosten- und Latenzgrenzen als Release-Gates nutzen
• Rollout, Alarmierung, Rücknahme und Incident Response planen

Für wen ist das Seminar geeignet?

AI Engineers, Softwareentwicklerinnen und Softwareentwickler, QA-, DevOps-, Plattform- und Betriebsteams sowie technische Product Owner.

Voraussetzungen

Grundkenntnisse in generativer KI, APIs und Softwarebetrieb; einfache Python- und Kommandozeilenkenntnisse für die Übungen.

Seminarinhalte

Tag 1: Testen und bewerten

• AgentOps-Lebenszyklus und Testpyramide
• Tool-, MCP- und A2A-Verträge sowie simulierte Abhängigkeiten
• Outcome-, State- und Trajectory-Evaluation
• RAG-, Memory- und multimodale Testfälle
• Golden Set, Rubriken und ein einfacher LLM-as-a-Judge

Tag 2: Tracing und überwachen

• Trace-Struktur für Modell, Tool, Retrieval, Memory, MCP und A2A
• OpenTelemetry, GenAI-Semantik, OpenInference und OTLP-Pipeline
• W3C-Trace-Kontext, Datenschutz, Redaction und Sampling
• Dashboards für Qualität, Erfolg, Latenz, Kosten und Fehler

Tag 3: Freigeben und betreiben

• CI-Gates und versionierte Agentenartefakte
• Shadow, Canary und Rollback
• Langlaufende Tasks, Timeouts, Retries, Budgets, Fallback und Human Handoff
• Alarmierung, Runbook, Incident-Triage und Verbesserungszyklus

Praxisanteil

Ein vorbereiteter Agent wird getestet, bewertet und instrumentiert. Eine Änderung durchläuft ein Release-Gate, wird als Canary bewertet und anschließend in einem simulierten Produktionsvorfall anhand von Trace und Runbook untersucht.