Seminar AgentOps Security, Red Teaming und Guardrails

Agenten lesen nicht nur Inhalte, sondern planen Aktionen und bedienen Werkzeuge. Damit können manipulierte Eingaben, Dokumente oder Tool-Ergebnisse zu unzulässigen Entscheidungen, Datenabfluss und realen Seiteneffekten führen. Sicherheit muss deshalb in Architektur, Tests, Laufzeit und Monitoring verankert sein.

Nutzen

Teilnehmende erstellen ein agentenspezifisches Bedrohungsmodell, leiten technische Kontrollen ab und prüfen diese mit reproduzierbaren Angriffsszenarien. Befunde werden priorisiert und als dauerhafte Regressionstests in den AgentOps-Zyklus übernommen.

Lernziele

• Angriffsflächen von Planung, Tools, Retrieval, Memory und Multi-Agent-Kommunikation erfassen
• Least Privilege, Identitäten, Secrets, Sandbox und Egress-Kontrollen entwerfen
• Eingabe-, Ausgabe-, Tool- und Aktions-Guardrails kombinieren
• direkte, indirekte und mehrstufige Angriffsszenarien automatisiert prüfen
• Security-Befunde in Freigabegates, Monitoring und Incident Response überführen

Für wen ist das Seminar geeignet?

AI Engineers, Softwareentwicklerinnen und Softwareentwickler, Application-Security- und Red-Team-Fachkräfte, Plattformteams sowie Security-Architektinnen und Security-Architekten.

Voraussetzungen

Erfahrung mit APIs und Anwendungsentwicklung; Grundkenntnisse zu LLMs, Tool Calling, Authentisierung und Autorisierung.

Seminarinhalte

Bedrohungsmodell

• Assets, Vertrauensgrenzen, Akteure und mögliche Schäden
• Planung, Tool-Aufrufe, Delegation, Memory und externe Inhalte
• Direkte und indirekte Prompt Injection
• Fehlfunktion, Missbrauch und gezielter Angriff

Identität und Tool-Sicherheit

• Eigene Identität pro Agent, Dienst und Auftrag
• Kurzlebige Berechtigungen und kontextgebundene Tokens
• Allowlist, Schema, Parameterprüfung und Policy Enforcement
• Sandbox, Netzwerk-Egress, Secrets und sichere Tool-Antworten

Agentenspezifische Risiken

• Agent Goal Hijacking, übermäßige Autonomie und unklare Zielvorgaben
• Tool-Missbrauch, Identitäts- und Privilegienmissbrauch
• Datenabfluss und unerlaubte Seiteneffekte
• Memory und Context Poisoning
• Unsichere Inter-Agent-Kommunikation, Delegationsmissbrauch und Agent Impersonation
• Kaskadierende Fehler, Vertrauensausnutzung und Rogue Agents

Guardrails und Freigaben

• Vor und nach Modellaufrufen sowie vor Aktionen
• Deterministische Regeln, Klassifikatoren und modellgestützte Prüfer
• Riskante Aktionen mit Vorschau, Vier-Augen-Prinzip und Human Approval
• Sicherer Abbruch, Quarantäne und Kill Switch

Red Teaming

• Angriffshypothesen und risikobasierte Testabdeckung
• Adversariale Eingaben, Dokumente, Tool-Ergebnisse, MCP-Server und A2A-Nachrichten
• Mehrstufige Angriffsketten über Tools, Memory und Agenten
• Automatisierte Scans, manuelle Exploration und reproduzierbare Beweise
• Triage, Schweregrad, Behebung und Regression

Praxisanteil

Ein Agent mit Datei- und API-Werkzeugen wird bedroht, abgesichert und erneut geprüft. Die Übungen umfassen indirekte Prompt Injection, Tool-Parameter-Manipulation, Datenabfluss, Memory Poisoning und eine genehmigungspflichtige Aktion.