Seminar Soda Core und Soda Cloud – Kompaktseminar Data Quality Engineering

Das Kompaktseminar vermittelt die durchgängige Kernarbeitsweise von Soda Core und Soda Cloud in drei Tagen. Ein Beispiel-Dataset wird angebunden, vertraglich geprüft, beobachtet und in einen einfachen Betriebsprozess überführt.

Das Format priorisiert die häufigsten Einführungsaufgaben und reduziert Spezialvarianten. Es eignet sich für Teams, die rasch einen funktionsfähigen Pilot aufbauen und danach gezielt vertiefen möchten.

Lernziele

• Soda Core und Soda Cloud als zusammenhängenden Arbeitsablauf nutzen
• einen grundlegenden Data Contract erstellen, testen und veröffentlichen
• Kernmonitore, Alerts und Verantwortlichkeiten für ein Dataset einrichten
• eine einfache CI/CD-Verifikation und einen realistischen Ausbauplan erstellen

Inhaltsübersicht

1. Tag 1: Architektur und Labor vorbereiten
2. Tag 1: Ersten Data Contract erstellen
3. Tag 2: Soda Cloud und Dataset-Onboarding
4. Tag 2: Observability und Alerts einrichten
5. Tag 2: Triage und Incident-Grundprozess anwenden
6. Tag 3: Einfache CI/CD-Automation umsetzen
7. Tag 3: Rollen, Sicherheit und Betrieb absichern
8. Tag 3: Pilot abnehmen und Ausbau planen

Seminarinhalte

1. Tag 1: Architektur und Labor vorbereiten

1. Schritt 1: Komponenten, Datenflüsse und Ausführungsorte für den Pilot einordnen.
2. Schritt 2: Python-Umgebung und passendes Soda-Paket installieren.
3. Schritt 3: Datenquelle mit minimalen Rechten und sicheren Secrets konfigurieren.
4. Schritt 4: Verbindung und Dataset-Identität verifizieren.

2. Tag 1: Ersten Data Contract erstellen

1. Schritt 1: Schema und kritische Spalten in Contract-YAML abbilden.
2. Schritt 2: Missing-, Duplicate-, Invalid- und Zeilenzahlchecks ergänzen.
3. Schritt 3: Syntax und Semantik mit kontrollierten Datenfehlern testen.
4. Schritt 4: Ergebnis und Exitcode nachvollziehbar auswerten.

3. Tag 2: Soda Cloud und Dataset-Onboarding

1. Schritt 1: Cloud-Verbindung herstellen und Dataset sichtbar machen.
2. Schritt 2: Vertrag veröffentlichen oder cloud-verwaltet prüfen.
3. Schritt 3: Owner und datasetbezogene Verantwortung zuweisen.
4. Schritt 4: Verifikationszeitpunkt und Mindestdokumentation festlegen.

4. Tag 2: Observability und Alerts einrichten

1. Schritt 1: Monitore für Volumen, Freshness und Schema auswählen.
2. Schritt 2: Baseline und erste erwartete Bereiche prüfen.
3. Schritt 3: Warn- und Fehleralarm mit passendem Empfänger konfigurieren.
4. Schritt 4: Alarm durch kontrollierte Abweichung testen und tunen.

5. Tag 2: Triage und Incident-Grundprozess anwenden

1. Schritt 1: Alarmkontext und betroffene Datenbereiche bewerten.
2. Schritt 2: Schweregrad, Owner und nächste Diagnoseaktion festlegen.
3. Schritt 3: Korrektur und erneute Verifikation dokumentieren.
4. Schritt 4: Failed-Row-Daten auf erforderliche und zulässige Inhalte begrenzen.

6. Tag 3: Einfache CI/CD-Automation umsetzen

1. Schritt 1: Contract-Dry-Run und Kernchecks als Pipeline-Schritt definieren.
2. Schritt 2: Secrets und Umgebungsvariablen sicher bereitstellen.
3. Schritt 3: Fehlerstatus als blockierendes Quality Gate verwenden.
4. Schritt 4: Ergebnisartefakt und Laufkontext für spätere Analyse speichern.

7. Tag 3: Rollen, Sicherheit und Betrieb absichern

1. Schritt 1: Globale und datasetbezogene Rechte auf das Minimum begrenzen.
2. Schritt 2: Technische Konten und API-Schlüssel zweckgebunden einsetzen.
3. Schritt 3: Betriebszeiten, Eskalation und regelmäßige Kontrolle festlegen.
4. Schritt 4: Smoke-Test für Verbindung, Vertrag, Monitor und Alarm definieren.

8. Tag 3: Pilot abnehmen und Ausbau planen

1. Schritt 1: End-to-End-Fehler auslösen, erkennen, bearbeiten und nachprüfen.
2. Schritt 2: Abnahmekriterien und offene Risiken bewerten.
3. Schritt 3: Vertiefungsbedarf für Runner, Advanced Checks, APIs oder Governance priorisieren.
4. Schritt 4: 30-Tage-Backlog mit Ownern und messbaren Ergebnissen erstellen.

Praxislabor

Ein vollständiger Pilot wird in drei Tagen aufgebaut: lokale Contract-Verifikation, Veröffentlichung, Kernmonitoring, Alert-Triage und CI/CD-Gate. Die Abschlussübung dokumentiert Korrektur, Nachprüfung und den Ausbaupfad.

Zielgruppe und Voraussetzungen

Zielgruppe: Data Engineering, Analytics Engineering, Data Quality Engineering, Plattformteams und technische Datenproduktverantwortung mit breitem Einstiegsbedarf.

Voraussetzungen: Grundkenntnisse in SQL, YAML und Kommandozeile; Python- und CI/CD-Basiswissen ist hilfreich.

Didaktik und Arbeitsweise

Kurze Fachimpulse werden unmittelbar durch Demonstrationen, strukturierte Konfigurationsschritte, Praxisübungen und kontrollierte Fehlerfälle vertieft. Jede Übung verwendet definierte Ausgangswerte, Prüfpunkte und Dokumentationsanforderungen, damit die erarbeiteten Abläufe als Betriebsstandard wiederholbar bleiben.