Seminar Soda Core – Integration in CI/CD, Orchestrierung und Python

Das Seminar integriert Data-Contract-Verifikationen in Software- und Datenbereitstellungsprozesse. Prüfungen werden früh im Pull Request, gezielt in Transformationen und vollständig vor der Freigabe ausgeführt.

Der Schwerpunkt liegt auf reproduzierbarer Automation, eindeutigen Exitcodes, sicherer Secret-Verwendung und robustem Verhalten bei Teilfehlern oder Infrastrukturstörungen.

Lernziele

• Soda-Verifikationen über Python API kapseln und testen
• schnelle und vollständige Qualitätsstufen in CI/CD entwerfen
• Verifikationen in Orchestrierungsabläufe mit klaren Abhängigkeiten einbinden
• Secrets, Retries, Logs, Ergebnisse und Betriebsmetriken produktionsreif handhaben

Inhaltsübersicht

1. Quality-Gate-Strategie entwerfen
2. Python API strukturiert verwenden
3. CI/CD-Pipeline implementieren
4. Datenpipeline und Orchestrierung anbinden
5. Teilprüfungen und Laufzeitparameter steuern
6. Verträge und Ergebnisse veröffentlichen
7. Fehlerbehandlung und Wiederanlauf gestalten
8. Betrieb und End-to-End-Abnahme sichern

Seminarinhalte

1. Quality-Gate-Strategie entwerfen

1. Schritt 1: Kontrollpunkte in Code-Review, Build, Deployment und Datenpipeline identifizieren.
2. Schritt 2: Schnelle Schema- und Kernchecks von vollständigen Produktionsprüfungen trennen.
3. Schritt 3: Blockierende, warnende und beobachtende Regeln definieren.
4. Schritt 4: Zeitbudget, Datenumfang und Fehlerreaktion pro Stufe festlegen.

2. Python API strukturiert verwenden

1. Schritt 1: Konfiguration und Contract-Datei als explizite Eingaben laden.
2. Schritt 2: Lokale Verifikation in eine klar gekapselte Funktion integrieren.
3. Schritt 3: Ergebnisobjekt, Checkzustände und technische Fehler auswerten.
4. Schritt 4: Unit- und Integrationstests mit kontrollierten Datensätzen erstellen.

3. CI/CD-Pipeline implementieren

1. Schritt 1: Abhängigkeiten und Soda-Pakete reproduzierbar installieren.
2. Schritt 2: Secrets ausschließlich über geschützte Laufzeitvariablen einbinden.
3. Schritt 3: Contract-Dry-Run und ausgewählte Checks im Pull Request ausführen.
4. Schritt 4: Jobstatus, Artefakte und Fehlermeldungen für Entwickler verständlich ausgeben.

4. Datenpipeline und Orchestrierung anbinden

1. Schritt 1: Verifikation vor und nach kritischen Transformationen positionieren.
2. Schritt 2: Task-Abhängigkeiten, Zeitüberschreitung und Wiederholungsregeln definieren.
3. Schritt 3: Partition, Laufdatum und Umgebung als kontrollierte Variablen übergeben.
4. Schritt 4: Downstream-Freigabe nur bei eindeutigem Qualitätszustand erlauben.

5. Teilprüfungen und Laufzeitparameter steuern

1. Schritt 1: Checks über Typ, Name, Spalte, Pfad oder Attribute filtern.
2. Schritt 2: Variablen für Zeitfenster, Mandanten und Schwellenwerte setzen.
3. Schritt 3: Schnelle Teilprüfung mit späterer Vollprüfung konsistent kombinieren.
4. Schritt 4: Nachweis sichern, welche Checks im konkreten Lauf ausgeführt wurden.

6. Verträge und Ergebnisse veröffentlichen

1. Schritt 1: Cloud-Konfiguration und Berechtigungen für technische Pipelinekonten einrichten.
2. Schritt 2: Vertrag oder Verifikationsergebnis kontrolliert veröffentlichen.
3. Schritt 3: Versions- und Ownership-Konflikte als eindeutige Fehler behandeln.
4. Schritt 4: Lokalen Lauf, Cloud-Ergebnis und Pipeline-ID miteinander korrelieren.

7. Fehlerbehandlung und Wiederanlauf gestalten

1. Schritt 1: Fachliche Checkfehler von Netzwerk-, Authentifizierungs- und Laufzeitfehlern trennen.
2. Schritt 2: Nur transiente technische Fehler mit begrenztem Retry wiederholen.
3. Schritt 3: Unklare Zustände in Quarantäne oder manuellen Review überführen.
4. Schritt 4: Wiederanlauf so gestalten, dass keine doppelten Veröffentlichungen entstehen.

8. Betrieb und End-to-End-Abnahme sichern

1. Schritt 1: Laufzeit, Fehlerrate, Retry-Anzahl und Checkabdeckung messen.
2. Schritt 2: Logs und Ergebnisartefakte mit Aufbewahrungs- und Datenschutzregeln versehen.
3. Schritt 3: Störung, Schlüsselwechsel und Paketupgrade im Runbook abbilden.
4. Schritt 4: Pipeline mit gutem, fehlerhaftem und technisch gestörtem Lauf abnehmen.

Praxislabor

Eine dreistufige Pipeline führt Contract-Dry-Run, Pull-Request-Teilprüfung und vollständige Produktionsverifikation aus. Python API, Secret-Bereitstellung, Ergebnisveröffentlichung, Retry und blockierende Freigabe werden mit mehreren Fehlerarten getestet.

Zielgruppe und Voraussetzungen

Zielgruppe: Data Engineering, Analytics Engineering, DevOps, Platform Engineering, Softwareentwicklung und CI/CD-Verantwortung.

Voraussetzungen: Praktische Soda-Core- und Data-Contract-Kenntnisse, gute Python- und CI/CD-Erfahrung sowie Grundverständnis eines Orchestrierungswerkzeugs.

Didaktik und Arbeitsweise

Kurze Fachimpulse werden unmittelbar durch Demonstrationen, strukturierte Konfigurationsschritte, Praxisübungen und kontrollierte Fehlerfälle vertieft. Jede Übung verwendet definierte Ausgangswerte, Prüfpunkte und Dokumentationsanforderungen, damit die erarbeiteten Abläufe als Betriebsstandard wiederholbar bleiben.