Seminar Grundlagen und Prüfstrategie für KI-generierten Code

Seminarbeschreibung

KI-generierter Code muss dieselben fachlichen und technischen Anforderungen erfüllen wie jeder andere Produktivcode. Das Seminar vermittelt eine systematische Grundlage für diese Prüfung. Betrachtet werden falsche Annahmen, ausgelassene Sonderfälle, erfundene Schnittstellen und Tests, die lediglich das Verhalten einer fehlerhaften Implementierung bestätigen.

Zentrales Thema ist das Testorakel: eine belastbare Aussage darüber, welches Ergebnis richtig ist. Fachliche Regeln, geprüfte Beispiele und geeignete unabhängige Vergleichsverfahren bilden die Grundlage. Das Seminar unterscheidet die Prüfung eines festgehaltenen Code-Artefakts von der Bewertung eines KI-Modells und konzentriert sich auf den Entwicklungs- und Freigabeprozess für Softwareänderungen.

Lernziele

• Typische Fehler KI-generierter Änderungen anhand kleiner Beispiele erkennen.
• Erwartete Ergebnisse unabhängig vom generierten Code und dessen Erklärung bestimmen.
• Reviews, statische Analyse und verschiedene Teststufen sinnvoll auswählen.
• Eine konkrete Änderung mit angemessenen Prüfschritten und Freigabekriterien versehen.

Inhaltsübersicht

• Fehlerbilder und Vertrauensgrenzen
• Anforderungen und unabhängige Erwartungen
• Prüfmethoden und Aussagegrenzen
• Prüfstrategie für eine Änderung

Seminarinhalte

Fehlerbilder und Vertrauensgrenzen

Ein überzeugender Kommentar oder ein erfolgreicher Testlauf ist zunächst ein Hinweis, dessen Aussagekraft geprüft werden muss. Beispiele zeigen fachliche Fehlinterpretationen, nicht vorhandene Paketfunktionen und unvollständige Fehlerbehandlung.

• Code, Konfiguration und generierte Tests gemeinsam als Prüfgegenstand erfassen.
• Kompilierbarkeit, funktionale Richtigkeit und Sicherheit unterscheiden.
• Reproduzierbare Artefakte statt wechselnder Assistentenantworten vergleichen.

Anforderungen und unabhängige Erwartungen

Akzeptanzkriterien werden aus einer fachlichen Beschreibung abgeleitet. Unklare Regeln werden sichtbar gemacht, bevor Testerwartungen formuliert werden. Ein zweiter KI-Assistent kann weitere Prüfhypothesen liefern, gilt aber nicht automatisch als unabhängige Wahrheitsinstanz.

• Beispiele, Grenzfälle und unerlaubte Zustände festhalten.
• Ein- und Ausgaben mit fachlich berechneten Sollwerten verbinden.
• Zirkelschlüsse zwischen generiertem Code und generierten Tests erkennen.

Prüfmethoden und Aussagegrenzen

Manueller Review, Typprüfung, Unit-, Integrations- und Systemtests werden passenden Risiken zugeordnet. Ergänzend werden Sicherheitsprüfung, eigenschaftsbasiertes Testen und Mutationstests eingeordnet. Codeabdeckung wird als Hinweis auf Ausführung und nicht als alleiniger Qualitätsnachweis behandelt.

• Prüfmethoden nach Fehlerart und Systemgrenze auswählen.
• Positive Fälle durch negative und unerwartete Eingaben ergänzen.
• Nicht geprüfte Annahmen und verbleibende Unsicherheit benennen.

Prüfstrategie für eine Änderung

Eine kleine Änderung wird von der Anforderung bis zur technischen Freigabe verfolgt. Testumfang, Verantwortlichkeit und Nachweise werden in einer überschaubaren Matrix festgehalten. Änderungen an Prüfregeln oder deaktivierte Tests erhalten einen eigenen Review.

• Risiken priorisieren und geeignete Tests zuordnen.
• Befunde reproduzierbar dokumentieren und Nacharbeit festlegen.
• Erforderliche Wiederholungsprüfungen nach einer Korrektur bestimmen.

Praxisübungen

1. Eine Fachbeschreibung und zwei KI-generierte Umsetzungsvorschläge vergleichen.
2. Unabhängige Sollwerte für Normalfall, Grenzwert und Fehlerfall festlegen.
3. Vorbereitete Tests ausführen und ihre Aussagekraft prüfen.
4. Einen Scheinerfolg durch einen gezielten Gegenbeispieltest aufdecken.
5. Eine risikobasierte Prüfmatrix mit konkreten Freigabekriterien erstellen.

Arbeitsweise und Schulungsumgebung

Kleine vorbereitete TypeScript-Beispiele, nachvollziehbare Testausgaben und eine Prüfmatrix. Übungen können anhand des Quellcodes und vorbereiteter Läufe bearbeitet werden.