Produktionsdaten enthalten die wertvollsten Fehlersignale, aber auch personenbezogene Informationen, Verzerrungen und schwer interpretierbare Rückmeldungen. Ohne Auswahlregeln und Datenpflege wächst ein Testbestand schnell, ohne die tatsächliche Qualität zu verbessern.
Nutzen
Teilnehmende bauen einen nachvollziehbaren Feedbackprozess auf, der relevante Fälle erkennt, sicher kuratiert, priorisiert und in Regressionstests überführt. Änderungen bleiben dabei von ihrer Ursache bis zur späteren Wirksamkeitsmessung rückverfolgbar.
Lernziele
- explizites, implizites und fachlich geprüftes Feedback unterscheiden
- Produktions-Traces risikobasiert auswählen, bereinigen und annotieren
- Fehler-Taxonomien und Datenqualitätsregeln für Eval-Sammlungen definieren
- Drift, wiederkehrende Fehler und blinde Flecken erkennen
- einen geschlossenen Verbesserungszyklus mit Freigabe und Wirksamkeitskontrolle etablieren
Für wen ist das Seminar geeignet?
Product Owner, AI Engineers, Data- und QA-Teams, Fachprüfende, Plattformverantwortliche sowie Governance- und Datenschutzfunktionen.
Voraussetzungen
Grundverständnis von Agenten-Traces und Evaluation; Erfahrung mit Datenmanagement ist hilfreich.
Seminarinhalte
Feedbacksignale
- Bewertungen, Kommentare, Korrekturen und Eskalationen
- Abbruch, Wiederholung, manuelle Übernahme und nachgelagerte Geschäftsergebnisse
- Signalqualität, Selektionsverzerrung und Missbrauchsschutz
Trace-Triage
- Fehlertrigger, Ausreißer, Unsicherheit und risikobasierte Stichproben
- Clustering ähnlicher Verläufe und Deduplizierung
- Priorisierung nach Häufigkeit, Auswirkung und Behebbarkeit
Sichere Datenaufbereitung
- Datenminimierung, Maskierung und Zugriffskontrolle
- Trennung von Rohdaten, kuratierten Beispielen und Freigabedatensätzen
- Aufbewahrung, Löschung, Herkunft und Bearbeitungshistorie
Annotation und Taxonomie
- Fehlerklassen für Ergebnis, Planung, Tool-Nutzung, Memory und Sicherheit
- Anweisungen, Gegenbeispiele und Eskalation uneindeutiger Fälle
- Qualitätssicherung für menschliche Labels
Kontinuierlicher Lernkreislauf
- Von Produktionsfehlern zu reproduzierbaren Regressionstests
- Backlog, Ursachenhypothese, Änderung und kontrolliertes Experiment
- Wirksamkeitsmessung nach Release und Schutz vor Wiederauftreten
Praxisanteil
Aus einem gemischten Trace-Bestand werden Fälle ausgewählt, anonymisiert, klassifiziert und in einen versionierten Eval-Datensatz überführt. Daraus entsteht ein Verbesserungs-Backlog mit Akzeptanzkriterien und Erfolgsmessung.
Fachbereichsleiter / Leiter der Trainer / Ihre Ansprechpartner
-
Lucas Beich
Telefon: + 49 (221) 74740055
E-Mail: lucas.beich@seminar-experts.de -
Paul Goldschmidt
Telefon: + 49 (221) 74740055
E-Mail: paul.goldschmidt@seminar-experts.de
Seminardetails
| Dauer: | 2 Tage ca. 6 h/Tag, Beginn 1. Tag: 10:00 Uhr, weiterer Tag 09:00 Uhr |
| Preis: |
Öffentlich oder Live Stream: € 1.198 zzgl. MwSt. Inhaus: € 3.400 zzgl. MwSt. |
| Teilnehmeranzahl: | min. 2 - max. 8 |
| Teilnehmer: | Product Owner, AI Engineers, Data- und QA-Teams, Fachprüfende, Plattformverantwortliche sowie Governance- und Datenschutzfunktionen. |
| Voraussetzungen: | Grundverständnis von Agenten-Traces und Evaluation; Erfahrung mit Datenmanagement ist hilfreich. |
| Standorte: | Stream Live, Inhaus/Firmenseminar, Berlin, Bremen, Darmstadt, Dresden, Erfurt, Essen, Flensburg, Frankfurt, Freiburg, Friedrichshafen, Hamburg, Hamm, Hannover, Jena, Kassel, Köln, Konstanz, Leipzig, Luxemburg, Magdeburg, Mainz, München, Münster, Nürnberg, Paderborn, Potsdam, Regensburg, Rostock, Stuttgart, Trier, Ulm, Wuppertal, Würzburg |
| Methoden: | Vortrag, Demonstrationen, Gruppenarbeit und praktische Übungen am System |
| Seminararten: | Öffentlich, Webinar, Inhouse, Workshop - Alle Seminare mit Trainer vor Ort, Webinar nur wenn ausdrücklich gewünscht |
| Durchführungsgarantie: | ja, ab 2 Teilnehmern |
| Sprache: | Deutsch - bei Firmenseminaren ist auch Englisch möglich |
| Seminarunterlage: | Dokumentation auf Datenträger oder als Download |
| Teilnahmezertifikat: | ja, selbstverständlich |
| Verpflegung: | Kalt- / Warmgetränke, Mittagessen (wahlweise vegetarisch) |
| Support: | 3 Anrufe im Seminarpreis enthalten |
| Barrierefreier Zugang: | an den meisten Standorten verfügbar |
| Weitere Informationen unter + 49 (221) 74740055 |
Seminartermine
Die Ergebnissliste kann durch Anklicken der Überschrift neu sortiert werden.
