Seminar CI/CD-Prüfpipelines und Qualitätsgates für KI-generierten Code

Seminarbeschreibung

Eine grüne Pipeline ist nur aussagekräftig, wenn die vorgesehenen Prüfungen tatsächlich gelaufen sind und das richtige Artefakt untersucht wurde. Das Seminar entwickelt eine nachvollziehbare Prüfkette für KI-generierte Änderungen. Schnelle Kontrollen am Pull Request werden mit umfangreicheren Integrations-, Sicherheits- und Regressionstests verbunden.

Besondere Aufmerksamkeit gilt generierten Änderungen an Tests, Konfigurationen und Workflows. Ein deaktivierter Test, eine veränderte Ausschlussliste oder ein unterdrückter Rückgabecode kann einen Fehler verdecken. Deshalb werden Prüfrichtlinien, Berechtigungen und freigabepflichtige Ausnahmen gemeinsam betrachtet. Behandelt wird eine vorbereitete Pipeline; die vollständige Administration einer CI-Plattform ist nicht Teil des Seminars.

Lernziele

• Prüfschritte nach Risiko, Laufzeit und Abhängigkeiten in einer Pipeline anordnen.
• Verbindliche Qualitätsgates mit nachvollziehbaren Fehlerzuständen implementieren.
• Manipulationen und unbeabsichtigte Abschwächungen von Prüfkonfigurationen erkennen.
• Berichte, Commit und gebautes Artefakt für eine Freigabe zusammenführen.

Inhaltsübersicht

• Prüfarchitektur und Auslöser
• Verlässliche Test- und Scanläufe
• Qualitätsgates und Ausnahmen
• Schutz der Prüfumgebung
• Freigabe und Nachweise

Seminarinhalte

Prüfarchitektur und Auslöser

Änderungsumfang und Risiko bestimmen die Prüfauswahl. Pull Requests, Hauptzweig und geplante Läufe erhalten geeignete Prüfprofile. Eine Optimierung der Laufzeit darf keine fachlich notwendige Prüfung unbeabsichtigt auslassen.

• Unit-, Integrations- und End-to-End-Tests sinnvoll staffeln.
• Pfadfilter, gemeinsame Bibliotheken und Konfigurationsänderungen berücksichtigen.
• Eindeutige Referenzen auf Commit und Build-Artefakt festlegen.

Verlässliche Test- und Scanläufe

Installationsstände, Testdaten und Werkzeuge werden kontrolliert festgelegt. Fehler beim Start eines Scanners, leere Testauswahl und fehlende Berichte werden als eigenständige Zustände erfasst. Ein erfolgreicher Prozess ohne ausgeführte Tests erhält keine fachliche Freigabe.

• JUnit-Berichte und maschinenlesbare Befunde verarbeiten.
• Lockdateien, Cache-Schlüssel und Runner-Umgebung prüfen.
• Timeouts, Abbrüche und fehlerhafte Rückgabecodes sichtbar machen.

Qualitätsgates und Ausnahmen

Schwellwerte werden aus dem Risiko der Änderung und dem bestehenden Qualitätsniveau abgeleitet. Neue kritische Befunde, dokumentierte Altlasten und zeitlich begrenzte Ausnahmen erhalten getrennte Regeln. Zuständigkeit und Ablaufdatum sind Bestandteil jeder Ausnahme.

• Abdeckungsänderungen und gezielte Mutationsergebnisse einordnen.
• Flaky Tests mit Verantwortlichen und Reparaturfrist behandeln.
• Ein Gate durch bewusst eingebrachte Fehler auf Wirksamkeit prüfen.

Schutz der Prüfumgebung

Generierte Workflow-Änderungen werden als sicherheitsrelevanter Code geprüft. Zugriffsrechte von Runnern und Jobs werden begrenzt; nicht vertrauenswürdige Beiträge erhalten keine produktiven Geheimnisse. Änderungen an Schutzregeln durchlaufen einen unabhängigen Review.

• Workflow-Dateien und zentrale Prüfskripte besonders prüfen.
• Abhängigkeiten und fremde Aktionen nachvollziehbar festlegen.
• Testausnahmen und deaktivierte Prüfungen im Diff erkennen.

Freigabe und Nachweise

Der tatsächlich getestete Stand wird mit der Freigabe verknüpft. Änderungen nach einem erfolgreichen Lauf lösen die erforderlichen Prüfungen erneut aus. Berichte werden so aufbewahrt, dass eine spätere Rekonstruktion des Entscheids möglich bleibt.

• Relevante Artefakte, Prüfumgebung und Befunde dokumentieren.
• Abnahmebedingungen als überprüfbare Regeln formulieren.
• Fehlende Nachweise und veraltete Statusmeldungen erkennen.

Praxisübungen

1. Vorbereitete Pipeline auf Testauswahl, Fehlerbehandlung und Berechtigungen untersuchen.
2. Test-, Analyse- und Scanaufgaben mit auswertbaren Berichten ergänzen.
3. Fehlerhaften Code, einen ausgefallenen Scanner und eine leere Testauswahl einschleusen.
4. Gates so korrigieren, dass diese Situationen zuverlässig zum vorgesehenen Status führen.
5. Eine befristete Ausnahme und die spätere Aufhebung anhand des geprüften Commits dokumentieren.

Arbeitsweise und Schulungsumgebung

Vorbereitete GitLab-CI-Pipeline, Container-Runner, Vitest sowie vorhandene Analyse- und Scanberichte. Die Prinzipien werden auf andere CI-Systeme übertragen; mehrere Plattformen werden nicht parallel eingerichtet.