Seminar Performance-, Last- und Zuverlässigkeitstests für KI-generierten Code

Seminarbeschreibung

KI-generierter Code kann fachlich richtige Resultate liefern und unter realistischer Last dennoch unbrauchbar werden. Das Seminar untersucht Antwortzeiten, Ressourcenverbrauch und Zuverlässigkeit einer vorbereiteten Anwendung. Leistungsziele werden vor dem Test konkretisiert, damit eine beschleunigte Implementierung nicht auf Kosten von Korrektheit oder Fehlerbehandlung bewertet wird.

Die Übungen verbinden Lastmessung mit kontrollierter Fehlereinwirkung. Unbegrenzte Wiederholungen, fehlende Zeitlimits, ungünstige Datenbankzugriffe und übermäßiges Logging werden als mögliche Ursachen geprüft. Messungen beziehen sich auf eine festgelegte Umgebung und einen dokumentierten Datenbestand; Ergebnisse werden nicht ungeprüft auf andere Betriebsgrößen übertragen.

Lernziele

• Nichtfunktionale Anforderungen als messbare Testkriterien formulieren.
• Lastprofile und Vergleichsmessungen mit kontrollierten Bedingungen erstellen.
• Leistungsprobleme und unzuverlässiges Fehlerverhalten eingrenzen.
• Korrekturen auf Leistungswirkung und funktionale Regressionen prüfen.

Inhaltsübersicht

• Messziele und Lastmodell
• Reproduzierbare Leistungstests
• Fehlerursachen im Code
• Zuverlässigkeit bei Störungen
• Korrektur und Vergleich

Seminarinhalte

Messziele und Lastmodell

Antwortzeit, Durchsatz und Fehlerrate werden für konkrete Geschäftsvorgänge definiert. Gleichzeitige Nutzer und Ankunftsrate werden unterschieden. Warm-up, Datenmenge und Dauer einer Messung werden passend zur Fragestellung gewählt.

• Perzentile und Fehlerquoten gemeinsam betrachten.
• Akzeptanzschwellen vor der Messung festlegen.
• Lastgenerator und Zielsystem auf eigene Engpässe prüfen.

Reproduzierbare Leistungstests

Lastskripte enthalten fachliche Ergebnisprüfungen und realistische Eingaben. Ausgangsstand und Korrektur werden unter vergleichbaren Bedingungen gemessen. Schwankungen und Cache-Effekte werden bei der Bewertung berücksichtigt.

• Testdaten und Versionsstände festhalten.
• Checks durch tatsächlich wirksame Fehlerschwellen ergänzen.
• Messserien und auffällige Ausreißer nachvollziehbar auswerten.

Fehlerursachen im Code

Die Untersuchung verknüpft Messwerte mit Datenbankzugriffen und Ressourcenverhalten. Typische Fälle sind wiederholte Einzelabfragen, unbeschränkte Parallelität und unnötige Datenkopien. Eine Optimierung beginnt mit einem beobachtbaren Engpass.

• N+1-Abfragen und ungeeignete Datenzugriffsmuster erkennen.
• Verbindungs- und Speicherverbrauch untersuchen.
• Komplexität bei wachsenden Eingabemengen vergleichen.

Zuverlässigkeit bei Störungen

Verzögerte oder ausgefallene Abhängigkeiten werden in einer isolierten Übungsumgebung nachgestellt. Timeouts, begrenzte Wiederholungen und Idempotenz werden aufeinander abgestimmt. Fehler dürfen nicht durch massenhafte Wiederholungen verstärkt werden.

• Langsame Abhängigkeiten und Verbindungsabbrüche kontrolliert simulieren.
• Retry-Budgets und Schutz vor doppelten Seiteneffekten prüfen.
• Erholung nach einer Störung anhand fachlicher Kriterien bewerten.

Korrektur und Vergleich

Ein gefundener Engpass wird gezielt bearbeitet. Der anschließende Vergleich betrachtet Leistung, Fehlerquote und funktionale Korrektheit gemeinsam. Kurztests werden von längerfristigen Stabilitätsbeobachtungen abgegrenzt.

• Vorher-Nachher-Messungen mit identischer Prüfbasis durchführen.
• Regressionsprüfungen nach der Optimierung wiederholen.
• Aussagegrenzen einer kurzen Messdauer dokumentieren.

Praxisübungen

1. Last- und Fehlerziele für eine vorbereitete KI-generierte API festlegen.
2. Lastskript erstellen und eine kontrollierte Ausgangsmessung durchführen.
3. Einen ineffizienten Datenzugriff und problematische Wiederholungen nachweisen.
4. Korrektur implementieren und dieselben Messbedingungen erneut herstellen.
5. Leistung, fachliche Korrektheit und Erholung nach Störung gemeinsam bewerten.

Arbeitsweise und Schulungsumgebung

Grafana k6, vorbereitete Anwendungs- und Datenbankmetriken sowie eine isolierte Containerumgebung. Lange Dauertests werden geplant und anhand vorbereiteter Messdaten analysiert.