Seminar AgentOps Testautomatisierung, Simulation und Regression

Ein einzelner erfolgreicher Lauf beweist bei einem nichtdeterministischen Agenten wenig. Testautomatisierung muss kontrollierbare Abhängigkeiten, mehrere Wiederholungen, zulässige alternative Trajektorien und reale Seiteneffekte berücksichtigen.

Nutzen

Teilnehmende können Agenten testbar schneiden, Abhängigkeiten simulieren und stabile Assertions formulieren. Flaky Tests werden erkannt, Fehler reproduzierbar gemacht und risikobasierte Regressionen in CI integriert.

Lernziele

• eine Testpyramide für Agenten, Tools, Retrieval, Memory und End-to-End-Abläufe erstellen
• Modelle und externe Werkzeuge mit Fakes, Mocks und aufgezeichneten Antworten isolieren
• zustandsbehaftete Nutzer- und Umgebungssimulationen entwickeln
• zulässige Trajektorien, Seiteneffekte und Abbruchbedingungen prüfen
• Wiederholungen, Seeds, Varianz und Flakiness in CI beherrschen

Für wen ist das Seminar geeignet?

AI Engineers, Softwareentwicklerinnen und Softwareentwickler, QA Engineers und Teams für Testautomatisierung.

Voraussetzungen

Sichere Python-Grundkenntnisse, Erfahrung mit APIs und automatisierten Tests; Grundverständnis von LLM- und Agentenarchitekturen.

Seminarinhalte

Teststrategie und Schnitt

• Risikobasierte Testfälle und Fehlermodelle
• Pure Functions, deterministische Orchestrierung und probabilistische Komponenten
• Komponenten-, Vertrags-, Integrations-, Szenario- und Systemtests

Werkzeuge und Abhängigkeiten

• Schema- und Vertragstests für Tool Calls
• MCP-Fähigkeiten, Protokollversionen, Fortschritt und Abbruch
• A2A Agent Cards, Nachrichten, Task-Zustände und Streaming
• Fakes, Stubs, Mocks und Service-Virtualisierung
• Record-and-Replay mit Bereinigung sensibler Daten
• Seiteneffekte, Idempotenz und Kompensationsprüfungen

Modelle, Retrieval und Memory

• Fixierte Antworten und kontrollierte Modell-Doubles
• Dokumentsätze, Ranking, Groundedness, fehlende und widersprüchliche Evidenz
• Session-Zustand, Langzeit-Memory, Verfallsregeln und Kontextgrenzen
• Textuelle, multimodale und dateibasierte Eingaben

Simulation

• Synthetic Users mit Ziel, Rolle und verborgenem Zustand
• Mehrturnige Dialoge und dynamische Umgebungen
• Fehler-, Latenz-, Quoten- und Chaos-Injektion
• Sandbox für ausführende Agenten

Regression und CI

• Golden Cases und historische Fehler
• Mehrfachläufe, Erfolgsverteilung und Toleranzen
• Flakiness-Triage, Quarantäne und Stabilisierung
• Parallelisierung, Caching, Kostenbudget und Berichte

Praxisanteil

Für einen Werkzeugagenten entsteht eine automatisierte Testsuite mit Tool-Fakes, Record-and-Replay, zustandsbehaftetem Synthetic User, Chaos-Injektion und wiederholter Regression. Ein instabiler Test wird analysiert und stabilisiert.