Seminar Secure SDLC – KI-gestützte Entwicklung sicher integrieren

Seminarbeschreibung

KI-gestützte Entwicklung verändert die Herkunft von Code, Tests und Konfigurationsänderungen. Dadurch entstehen zusätzliche Fragen: Welche Informationen dürfen in einen Arbeitskontext gelangen, welche Aktionen darf ein Werkzeug ausführen und welche Änderungen müssen unabhängig geprüft werden? Das Seminar integriert diese Fragen in bestehende Anforderungen, Reviews und Freigaben.

Die Übungen arbeiten mit vorbereiteten Vorschlägen eines Coding-Assistenten und einer begrenzten Entwicklungsumgebung. Damit sind die wesentlichen Prüfungen unabhängig von einem bestimmten Modellanbieter durchführbar. Untersucht werden sowohl Fehler im Anwendungscode als auch Änderungen an Tests, Paketdefinitionen und Pipelinekonfigurationen. Ein erzeugter Testsatz wird auf seine Aussagekraft geprüft und durch eigenständig abgeleitete Sicherheitsfälle ergänzt. Ein vollständiges Training zur Absicherung KI-basierter Endkundenprodukte ist damit nicht verbunden.

Der Übungsfall enthält einen auf den ersten Blick schlüssigen Änderungsvorschlag für einen Datenzugriff. Zusätzlich wurden eine Abhängigkeit und mehrere Tests verändert. Die Prüfung betrachtet deshalb den vollständigen Änderungsumfang und vergleicht ihn mit dem ursprünglichen Arbeitsauftrag. Ein automatisch erzeugter Kommentar oder eine überzeugende Beschreibung gilt dabei nicht als Nachweis für das tatsächliche Verhalten. Auch scheinbar nebensächliche Änderungen an Ausführungsskripten werden untersucht. Die Arbeitsumgebung verwendet ausschließlich vorbereitete Beispieldaten; vertraulicher Kundencode und produktive Zugangsdaten werden für die Übungen nicht benötigt.

Inhaltsübersicht

1. Einsatzgrenzen und Verantwortung
2. Kontext und vertrauliche Informationen
3. Unvertrauenswürdige Inhalte und Werkzeuge
4. Code, Pakete und Konfiguration prüfen
5. Unabhängige Verifikation
6. Einbindung in den Teamprozess

Seminarinhalte

Einsatzgrenzen und Verantwortung

• Zulässige Aufgaben, erforderliche Reviews und Verantwortlichkeit für Änderungen festlegen.
• Codevorschläge, automatisierte Bearbeitung und privilegierte Werkzeugaufrufe unterschiedlich behandeln.
• Freigabekriterien für Anwendungscode, Testcode und sicherheitskritische Konfiguration definieren.

Kontext und vertrauliche Informationen

• Quellcode, Tickets, Protokolle und Umgebungsdaten nach benötigtem Umfang auswählen.
• Geheimnisse und vertrauliche Informationen vor unbeabsichtigter Weitergabe schützen.
• Grenzen von Ausschlussdateien und reinen Verhaltensanweisungen gegenüber technischen Zugriffsregeln unterscheiden.

Unvertrauenswürdige Inhalte und Werkzeuge

• Manipulierte Projekttexte und Tool-Ausgaben als mögliche Einflussquelle erkennen.
• Dateisystem, Netzwerk, Befehle und Zugangsdaten auf den Arbeitsauftrag begrenzen.
• Änderungen an Steuerungsdateien und Werkzeugkonfigurationen in den Reviewumfang aufnehmen.

Code, Pakete und Konfiguration prüfen

• Vorgeschlagene Bibliotheken auf Existenz, Herkunft, Wartung und bekannte Risiken prüfen.
• Änderungen an Lockdateien, Build-Skripten und Pipelinejobs vollständig beurteilen.
• Unsichere Standardannahmen und veraltete API-Verwendung im erzeugten Code erkennen.

Unabhängige Verifikation

• Tests aus fachlichen Anforderungen und Sicherheitsregeln unabhängig vom Codevorschlag ableiten.
• Gelöschte Tests, abgeschwächte Prüfungen und übermäßige Mock-Nutzung gezielt untersuchen.
• Negativtests, Grenzfälle und relevante Fehlerszenarien zum Freigabenachweis ergänzen.

Einbindung in den Teamprozess

• Änderungsumfang, verwendete Werkzeuge und prüfende Personen nachvollziehbar festhalten.
• Technische Kontrollen mit Code Review und geschützten Freigaben verbinden.
• Einen begrenzten Pilotbetrieb mit Fehlerauswertung und Anpassung der Arbeitsregeln planen.

Praxisübungen

1. Für einen Entwicklungsauftrag zulässigen Kontext und benötigte Werkzeugrechte festlegen.
2. Ein vorbereitetes Repository auf manipulative Arbeitsanweisungen und unerwartete Änderungen untersuchen.
3. Einen vorgeschlagenen Patch einschließlich Paket- und Pipelineänderungen vollständig prüfen.
4. Einen scheinbar erfolgreichen Testsatz auf fehlende Aussagen und geschwächte Prüfungen analysieren.
5. Unabhängige Berechtigungs- und Grenzfalltests ergänzen und einen fehlerhaften Patch zurückweisen.
6. Einen überprüfbaren Ablauf für die Annahme und Freigabe weiterer Vorschläge entwerfen.