Seminar GADS – Performance, Skalierung und Troubleshooting

Beschreibung

Die Schulung behandelt Leistungsprobleme entlang der gesamten GADS-Datenkette. Aufnahme, Transfer, Katalog, Storage, Verarbeitung, APIs und Datenverbraucher werden nicht isoliert, sondern über Zeitlinie, Telemetrie und Abhängigkeiten untersucht. Optimierung beginnt mit Messung; Bauchgefühl ist kein Benchmark.

Seminarziel

Ein reproduzierbares Verfahren für Baseline, Lasttest, Engpassisolierung, Skalierung, Fehleranalyse und Wirksamkeitsnachweis soll angewendet werden können.

Lernziele

• Den Themenbereich „Workloads und Leistungsziele definieren“ fachlich einordnen, strukturiert planen und kontrolliert umsetzen.
• Den Themenbereich „Messumgebung und Baseline aufbauen“ fachlich einordnen, strukturiert planen und kontrolliert umsetzen.
• Den Themenbereich „Ingest- und Transferengpässe analysieren“ fachlich einordnen, strukturiert planen und kontrolliert umsetzen.
• Den Themenbereich „Storage- und Compute-Leistung bewerten“ fachlich einordnen, strukturiert planen und kontrolliert umsetzen.
• Den Themenbereich „API, Katalog und Workflow untersuchen“ fachlich einordnen, strukturiert planen und kontrolliert umsetzen.

Inhaltsübersicht

1. 1. Workloads und Leistungsziele definieren
2. 2. Messumgebung und Baseline aufbauen
3. 3. Ingest- und Transferengpässe analysieren
4. 4. Storage- und Compute-Leistung bewerten
5. 5. API, Katalog und Workflow untersuchen
6. 6. Skalierungsoptionen entscheiden
7. 7. Troubleshooting und Wirksamkeitsnachweis

Zielgruppe

Plattform- und Storage-Administratoren, SRE- und Performance-Teams, Integrationsentwickler und technische Architekten

Voraussetzungen

Gute Kenntnisse in Linux, Netzwerk, Storage, Monitoring und verteilten Systemen

Seminarinhalte

1. Workloads und Leistungsziele definieren

Kapitelinhaltsverzeichnis: Ingest-, Transfer- und Analyseprofile; Dateigröße und Parallelität; Latenz und Durchsatz; SLO und Nutzererwartung; Peak und Wachstum; Mess- und Abnahmekriterien

1. Ausgangslage, Datenquellen und Verantwortlichkeiten für Ingest-, Transfer- und Analyseprofile erfassen.
2. Anforderungen, Abhängigkeiten und Qualitätskriterien für Dateigröße und Parallelität festlegen.
3. Zielmodell, Regeln und technische Umsetzung für Latenz und Durchsatz entwerfen.
4. SLO und Nutzererwartung schrittweise konfigurieren oder anhand eines Referenzablaufs modellieren.
5. Normalbetrieb, Fehlerfälle und Grenzbedingungen für Peak und Wachstum prüfen.
6. Ergebnis anhand von Mess- und Abnahmekriterien verifizieren und nachvollziehbar dokumentieren.

Praxis: Ein Lastprofil mit Normal-, Spitzen- und Grenzlast erstellen.

2. Messumgebung und Baseline aufbauen

Kapitelinhaltsverzeichnis: Zeitbasis und Korrelation; Client-, Netzwerk- und Servermetriken; Storage- und Queue-Metriken; Logs und Traces; Testdaten und Wiederholbarkeit; Baseline und Streuung

1. Ausgangslage, Datenquellen und Verantwortlichkeiten für Zeitbasis und Korrelation erfassen.
2. Anforderungen, Abhängigkeiten und Qualitätskriterien für Client-, Netzwerk- und Servermetriken festlegen.
3. Zielmodell, Regeln und technische Umsetzung für Storage- und Queue-Metriken entwerfen.
4. Logs und Traces schrittweise konfigurieren oder anhand eines Referenzablaufs modellieren.
5. Normalbetrieb, Fehlerfälle und Grenzbedingungen für Testdaten und Wiederholbarkeit prüfen.
6. Ergebnis anhand von Baseline und Streuung verifizieren und nachvollziehbar dokumentieren.

Praxis: Einen Baseline-Test mit vollständiger Messpunktmatrix planen.

3. Ingest- und Transferengpässe analysieren

Kapitelinhaltsverzeichnis: Quellrate und Puffer; Chunking und Parallelität; Netzwerk und Paketverlust; Ziel-Storage und Metadaten; Backpressure und Retry; End-to-End-Datenalter

1. Ausgangslage, Datenquellen und Verantwortlichkeiten für Quellrate und Puffer erfassen.
2. Anforderungen, Abhängigkeiten und Qualitätskriterien für Chunking und Parallelität festlegen.
3. Zielmodell, Regeln und technische Umsetzung für Netzwerk und Paketverlust entwerfen.
4. Ziel-Storage und Metadaten schrittweise konfigurieren oder anhand eines Referenzablaufs modellieren.
5. Normalbetrieb, Fehlerfälle und Grenzbedingungen für Backpressure und Retry prüfen.
6. Ergebnis anhand von End-to-End-Datenalter verifizieren und nachvollziehbar dokumentieren.

Praxis: Ein Datenstau-Szenario anhand von Messwerten eingrenzen.

4. Storage- und Compute-Leistung bewerten

Kapitelinhaltsverzeichnis: IOPS, Bandbreite und Latenz; kleine und große Dateien; Caching und Datenlokalität; CPU, Speicher und Beschleuniger; Sättigung und Warteschlange; Tiering und Nebenlast

1. Ausgangslage, Datenquellen und Verantwortlichkeiten für IOPS, Bandbreite und Latenz erfassen.
2. Anforderungen, Abhängigkeiten und Qualitätskriterien für kleine und große Dateien festlegen.
3. Zielmodell, Regeln und technische Umsetzung für Caching und Datenlokalität entwerfen.
4. CPU, Speicher und Beschleuniger schrittweise konfigurieren oder anhand eines Referenzablaufs modellieren.
5. Normalbetrieb, Fehlerfälle und Grenzbedingungen für Sättigung und Warteschlange prüfen.
6. Ergebnis anhand von Tiering und Nebenlast verifizieren und nachvollziehbar dokumentieren.

Praxis: Zwei Engpasshypothesen mit Gegenmessungen überprüfen.

5. API, Katalog und Workflow untersuchen

Kapitelinhaltsverzeichnis: Request-Rate und Antwortzeit; Datenbank und Index; Locking und Konkurrenz; Ereignis- und Workflow-Backlog; Timeout und Retry-Sturm; Abhängiger Dienst

1. Ausgangslage, Datenquellen und Verantwortlichkeiten für Request-Rate und Antwortzeit erfassen.
2. Anforderungen, Abhängigkeiten und Qualitätskriterien für Datenbank und Index festlegen.
3. Zielmodell, Regeln und technische Umsetzung für Locking und Konkurrenz entwerfen.
4. Ereignis- und Workflow-Backlog schrittweise konfigurieren oder anhand eines Referenzablaufs modellieren.
5. Normalbetrieb, Fehlerfälle und Grenzbedingungen für Timeout und Retry-Sturm prüfen.
6. Ergebnis anhand von Abhängiger Dienst verifizieren und nachvollziehbar dokumentieren.

Praxis: Eine langsame Such- und Workflowkette über Traces analysieren.

6. Skalierungsoptionen entscheiden

Kapitelinhaltsverzeichnis: vertikale und horizontale Skalierung; Partitionierung und Sharding; Caching und Vorberechnung; Entkopplung und Queue; Datenplatzierung; Kosten und Betriebsfolgen

1. Ausgangslage, Datenquellen und Verantwortlichkeiten für vertikale und horizontale Skalierung erfassen.
2. Anforderungen, Abhängigkeiten und Qualitätskriterien für Partitionierung und Sharding festlegen.
3. Zielmodell, Regeln und technische Umsetzung für Caching und Vorberechnung entwerfen.
4. Entkopplung und Queue schrittweise konfigurieren oder anhand eines Referenzablaufs modellieren.
5. Normalbetrieb, Fehlerfälle und Grenzbedingungen für Datenplatzierung prüfen.
6. Ergebnis anhand von Kosten und Betriebsfolgen verifizieren und nachvollziehbar dokumentieren.

Praxis: Eine Skalierungsentscheidung mit Messdaten und Trade-offs dokumentieren.

7. Troubleshooting und Wirksamkeitsnachweis

Kapitelinhaltsverzeichnis: Symptom und Zeitlinie; Hypothese und Beweis; Eindämmung und Änderung; Rollback und Nebenwirkung; Nachtest und Vergleich; Root Cause und Prävention

1. Ausgangslage, Datenquellen und Verantwortlichkeiten für Symptom und Zeitlinie erfassen.
2. Anforderungen, Abhängigkeiten und Qualitätskriterien für Hypothese und Beweis festlegen.
3. Zielmodell, Regeln und technische Umsetzung für Eindämmung und Änderung entwerfen.
4. Rollback und Nebenwirkung schrittweise konfigurieren oder anhand eines Referenzablaufs modellieren.
5. Normalbetrieb, Fehlerfälle und Grenzbedingungen für Nachtest und Vergleich prüfen.
6. Ergebnis anhand von Root Cause und Prävention verifizieren und nachvollziehbar dokumentieren.

Praxis: Einen vollständigen Incident vom Symptom bis zur verifizierten Korrektur bearbeiten.

Praxisanteile

Die Übungen bauen auf einem konsistenten Automotive-Datenszenario auf. Konfigurationen, Architekturentscheidungen, Prüfprotokolle und Betriebsmaßnahmen werden so dokumentiert, dass sie in ein eigenes Einführungs- oder Betriebskonzept übertragen werden können.