Seminar Sicherheitstests und Abhängigkeitsprüfung KI-generierten Codes

Seminarbeschreibung

KI-generierter Code kann unsichere Standardannahmen, fehlerhafte Berechtigungsprüfungen und ungeprüfte Abhängigkeiten übernehmen. Das Seminar untersucht diese Risiken anhand klar definierter Schutzanforderungen. Die Prüfung reicht von Bedrohungsmodell und Code-Review über statische und dynamische Analysen bis zur Verifikation einer Korrektur.

Automatische Scanner liefern Hinweise, die fachlich und technisch bewertet werden müssen. Deshalb erhalten reproduzierbare Befunde und negative Sicherheitstests besonderes Gewicht. Die Übungen verwenden ausschließlich eine isolierte, für Sicherheitsprüfungen vorgesehene Anwendung. KI-generierte Sicherheitsbehauptungen und vermeintliche Fehlerbehebungen werden denselben Prüfmaßstäben unterzogen wie die ursprüngliche Änderung.

Lernziele

• Schutzgüter, Vertrauensgrenzen und Missbrauchsfälle einer Änderung bestimmen.
• Sicherheitsfehler im Code und zur Laufzeit nachvollziehbar prüfen.
• Direkte und transitive Abhängigkeiten, Geheimnisse und Komponentenbefunde bewerten.
• Korrekturen mit positiven und negativen Regressionstests verifizieren.

Inhaltsübersicht

• Bedrohungsmodell und Prüfkatalog
• Eingaben, Ausgabe und Datenzugriff
• Statische und dynamische Sicherheitsprüfung
• Abhängigkeiten und Komponentenbestand
• Geheimnisse und sichere Konfiguration
• Korrektur und Sicherheitsregression

Seminarinhalte

Bedrohungsmodell und Prüfkatalog

Schutzgüter und Datenflüsse werden für den vorbereiteten Dienst beschrieben. Aus Vertrauensgrenzen entstehen konkrete Sicherheitsanforderungen und Missbrauchsfälle. Geprüft wird insbesondere, ob generierter Code Sicherheitsannahmen nur kommentiert oder tatsächlich durchsetzt.

• Eingabepunkte und privilegierte Operationen identifizieren.
• Authentifizierung und Autorisierung getrennt bewerten.
• Prüffälle nach Auswirkung und Erreichbarkeit priorisieren.

Eingaben, Ausgabe und Datenzugriff

Eingaben werden bis zur Verarbeitung und Ausgabe verfolgt. Der Review untersucht unter anderem unsichere Abfragen, Pfadverarbeitung und unzureichende Validierung. Schutzmaßnahmen werden an ihren tatsächlichen Systemgrenzen getestet.

• Parametrisierte Datenbankzugriffe prüfen.
• Objektzugriffe und Mandantengrenzen mit negativen Tests absichern.
• Fehlermeldungen und Logs auf unbeabsichtigte Offenlegung kontrollieren.

Statische und dynamische Sicherheitsprüfung

Vorbereitete Regeln und Scans werden mit einer manuellen Prüfung kombiniert. Ein Befund wird anhand des Datenflusses und eines begrenzten Reproduktionsfalls bewertet. Ein fehlender Scannerbefund ist kein Nachweis vollständiger Sicherheit.

• Befunde auf betroffenen Stand und erreichbare Pfade beziehen.
• Fehlalarme begründet dokumentieren.
• Validierung und Berechtigungen an der laufenden Anwendung kontrollieren.

Abhängigkeiten und Komponentenbestand

Paketnamen, tatsächliche APIs, Herkunft und Versionsbindung werden geprüft. Ein Komponentenbestand macht direkte und transitive Bibliotheken sichtbar. Bekannte Schwachstellen werden hinsichtlich der betroffenen Version und Nutzung bewertet.

• Erfundene oder unpassende Pakete in generierten Vorschlägen erkennen.
• Lockdateien und Integritätsinformationen untersuchen.
• Lizenz- und Herkunftsbefunde zur zuständigen Prüfung weitergeben.

Geheimnisse und sichere Konfiguration

Quellcode und vorbereitete Artefakte werden auf versehentlich enthaltene Geheimnisse untersucht. Beispiele verwenden ausschließlich Dummy-Werte. Konfiguration, Berechtigungen und Protokollierung werden gemeinsam betrachtet.

• Unsichere Standardwerte und weitreichende Rechte erkennen.
• Scanner-Ausnahmen und Ausschlussmuster auf Wirkung prüfen.
• Fund, Bereinigung und erforderliche Folgemaßnahmen unterscheiden.

Korrektur und Sicherheitsregression

Die Behebung eines bestätigten Fehlers wird mit erlaubten und verbotenen Zugriffen getestet. Ein Workaround, der lediglich den Beispielangriff blockiert, reicht nicht aus. Die erneute Prüfung umfasst benachbarte Pfade und mögliche funktionale Nebenwirkungen.

• Negative Testfälle vor der Änderung reproduzierbar festhalten.
• Ursächliche Korrektur von bloßer Symptombehandlung unterscheiden.
• Restbefunde und technische Freigabekriterien dokumentieren.

Praxisübungen

1. Datenfluss und Schutzanforderungen einer vorbereiteten KI-generierten API beschreiben.
2. Code- und Komponentenprüfung durchführen und Befunde priorisieren.
3. Einen fehlerhaften Objektzugriff und eine unsichere Eingabeverarbeitung nachweisen.
4. Korrekturen implementieren und zulässige sowie unzulässige Fälle erneut prüfen.
5. Komponentenbefunde, Regressionsergebnisse und offene Punkte zusammen dokumentieren.

Arbeitsweise und Schulungsumgebung

Vorbereitete TypeScript-Webanwendung, Semgrep-Regeln, Trivy für Komponenten- und Artefaktprüfungen, HTTP-Testclient und Vitest. Dynamische Prüfungen erfolgen in der isolierten Laborumgebung.