Seminar Agentic AI Engineering – Evaluation, Tests und Qualitätsmetriken

Dieses Seminar macht die Qualität nicht-deterministischer Agentensysteme reproduzierbar messbar. Es verbindet Komponenten-, Trajektorien- und End-to-End-Tests mit fachlichen Rubriken, Sicherheitsprüfungen und Produktionsfeedback. Die Teilnehmenden entwickeln belastbare Evaluationssätze, erkennen Regressionen über Modell- und Prompt-Versionen hinweg und entscheiden anhand expliziter Qualitäts-, Kosten- und Latenzgrenzen.

Einordnung und Nutzen

Agentische Systeme verbinden probabilistische Modellentscheidungen mit deterministischen Softwarekomponenten. Deshalb behandelt das Seminar Architektur, Implementierung, Sicherheitsgrenzen und überprüfbare Qualität gemeinsam. Technische Entscheidungen werden an realistischen Fehlerszenarien und nicht nur am erfolgreichen Idealablauf bewertet.

Zielgruppe

AI Engineers, QA Engineers, Data Scientists, MLOps-Teams und technische Produktverantwortliche.

Voraussetzungen

Erfahrung mit Softwaretests und LLM-Anwendungen; Python-Kenntnisse für die Übungen.

Seminarinhalte

• Qualitätsziele aus Nutzeraufgaben und Fehlerrisiken ableiten
• Golden Sets, simulierte Fälle und Produktionsbeispiele kuratieren
• Tool-Auswahl, Parameter, Handoffs und Trajektorien bewerten
• Deterministische Checks, Rubriken und modellbasierte Bewerter kombinieren
• Groundedness, Task Success, Sicherheit, Latenz und Kosten messen
• Mehrfachläufe, Varianz, Konfidenz und statistische Fallstricke
• Offline-Evaluation, Shadow Runs und Online-Experimente verbinden
• Fehler taxonomisieren und Ursachen in Kontext, Modell oder Tool lokalisieren
• Regression Gates in CI/CD und Freigabeprozesse integrieren

Praxisprojekt

Die Teilnehmenden erstellen für einen mehrstufigen Agenten ein Eval-Harness mit Datensatzversionierung, Trajektorienprüfungen, Rubriken und einem Release Gate. Anschließend analysieren sie gezielt eingebaute Regressionen.

Lernziele

Die Teilnehmenden entwickeln belastbare Evaluationssätze, erkennen Regressionen über Modell- und Prompt-Versionen hinweg und entscheiden anhand expliziter Qualitäts-, Kosten- und Latenzgrenzen. Außerdem können die Teilnehmenden Architekturentscheidungen begründen, typische Fehlerbilder diagnostizieren und geeignete Tests sowie Kontrollpunkte für den eigenen Einsatzkontext festlegen.

Arbeitsweise

Kurze Theorieblöcke wechseln mit Demonstrationen, Entwurfsaufgaben und Übungen am System. Zwischenergebnisse werden gemeinsam überprüft; Alternativen, Grenzen und betriebliche Auswirkungen werden transparent diskutiert. Das Praxisprojekt verbindet die Einzelthemen zu einer konsistenten Lösung.