Seminar Great Expectations (GX Core) – Intensivseminar Entwicklung und Validierungslogik

Das Intensivseminar bündelt den Entwurf und die technische Umsetzung anspruchsvoller Datenqualitätsregeln. Von Regelarchitektur und Expectation Suites über Parameter, Row Conditions und Severity bis zu Python-, SQL- und Multi-Source-Expectations entsteht ein getestetes, dokumentiertes und paketierbares Validierungsmodul.

Inhaltsübersicht

• Zielsetzung und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Zielsetzung

• Fachliche Qualitätsanforderungen in wartbare GX-Core-Regelarchitekturen übersetzen.
• Standard-Expectations, Parameter, Row Conditions, Severity und Result Formats sicher kombinieren.
• Custom Expectations mit Python sowie SQL-basierte Fehlerzeilenprüfungen entwickeln.
• Multi-Source-Abgleiche für Migration und ETL-Konsistenz umsetzen.
• Tests, Dokumentation, Paketierung, Review und Versionspflege als Entwicklungsprozess etablieren.

Zielgruppe

Python- und SQL-Entwickler, Data Engineers, Analytics Engineers, Data-Quality-Architekten und technische Data Stewards mit Verantwortung für komplexe Validierungslogik.

Voraussetzungen

Sichere Python- und SQL-Kenntnisse, Erfahrung mit automatisierten Tests und grundlegende GX-Core-Praxis. Für Spark-spezifische Varianten sind entsprechende Kenntnisse hilfreich.

Seminarinhalte

1. Schritt 1: Qualitätsanforderungen und Regelquellen analysieren

   Geschäftsregeln, Datenverträge, Referenzdaten und Risiken werden in messbare Kriterien und Akzeptanzfälle überführt.

2. Schritt 2: Regelarchitektur und Suite-Grenzen entwerfen

   Datenprodukt, Prozessstufe, Eigentümer und Lebenszyklus bestimmen den Zuschnitt von Suites und Namensräumen.

3. Schritt 3: Standard-Expectations gezielt auswählen

   Tabellen-, Spalten-, Paar- und Verteilungsregeln werden nach Aussagekraft, Kosten und Diagnosebedarf eingesetzt.

4. Schritt 4: Schwellen, mostly und Nullsemantik beherrschen

   Toleranzen, leere Daten, technische Nullwerte und fachlich nicht anwendbare Fälle werden eindeutig modelliert.

5. Schritt 5: Parameter und dynamische Werte einsetzen

   Grenzen, Referenzwerte und Umgebungswerte werden typisiert, validiert und nachvollziehbar übergeben.

6. Schritt 6: Row Conditions formulieren

   Bedingte Gültigkeit wird mit lesbaren AND-/OR-Ausdrücken umgesetzt und anhand der tatsächlichen Treffermenge getestet.

7. Schritt 7: Severity und Reaktionsmodell festlegen

   Critical, Warning und Info werden mit fachlicher Konsequenz, Pipeline-Verhalten und Eskalation verbunden.

8. Schritt 8: Validation Results und Result Formats nutzen

   Ergebnisstruktur, observed values, Fehlerbeispiele und Detailstufen werden für Entwicklung und Betrieb getrennt optimiert.

9. Schritt 9: Custom-Expectation-Architektur verstehen

   Klassenmodell, Domain, Parameter, Metriken, Engines und Success-Kriterium werden als Implementierungsplan dokumentiert.

10. Schritt 10: Pandas-Implementierung entwickeln

    Eine eigene Regel wird vektorisiert umgesetzt und mit leeren, fehlerhaften und grenzwertigen Daten getestet.

11. Schritt 11: SQL- und Spark-Varianten ergänzen

    Pushdown, Dialekte, Nullsemantik und verteilte Berechnung werden für weitere Execution Engines behandelt.

12. Schritt 12: Unexpected-Rows-Prüfung mit SQL erstellen

    Komplexe fachliche Logik wird als Abfrage formuliert, die ausschließlich verletzende Zeilen zurückgibt.

13. Schritt 13: Multi-Source Expectation entwickeln

    Quell- und Zielabfragen werden deterministisch normalisiert und für Zeilen- oder Aggregatvergleich eingesetzt.

14. Schritt 14: Diagnose und Datenschutz gestalten

    Fehlerwerte, Zeilen, Schlüssel und Metadaten werden auf notwendige Informationen begrenzt.

15. Schritt 15: Automatisierte Testmatrix aufbauen

    Positive, negative, Null-, Duplikat-, Dialekt-, Performance- und Regressionstests sichern die Regelbibliothek.

16. Schritt 16: Dokumentation und Beispiele erstellen

    Zweck, Parameter, Grenzen, unterstützte Engines, Beispielcode und typische Fehlinterpretationen werden vollständig beschrieben.

17. Schritt 17: Paketierung und interne Veröffentlichung umsetzen

    Modulstruktur, Versionierung, Abhängigkeiten, Installation und Kompatibilität werden reproduzierbar organisiert.

18. Schritt 18: Review, Governance und Wartung etablieren

    Fachliche Freigabe, Code-Review, Deprecation, Änderungsnachweis und regelmäßige Wirksamkeitsprüfung schließen den Lebenszyklus.

Praxisübungen

• Regelkatalog und Suite-Struktur für ein Datenprodukt entwerfen.
• Standardregeln mit mostly, Parametern, Row Conditions und Severity kombinieren.
• Custom Expectation für pandas entwickeln und automatisiert testen.
• SQL-basierte Fehlerzeilenprüfung mit Datenschutzbegrenzung umsetzen.
• Multi-Source-Abgleich zwischen zwei SQL-Systemen erstellen.
• Result Format für Diagnose und regulären Betrieb getrennt konfigurieren.
• Regelpaket dokumentieren, versionieren und in einem zweiten Projekt installieren.
• Fachliches und technisches Review mit Abnahmematrix durchführen.

Methodik

Das fünftägige Format folgt einem Entwicklungsprojekt vom Fachkonzept bis zum installierbaren Regelpaket. Jede Regel wird mit kontrollierten Testdaten, mehreren Ergebnisstufen und einem Review aus Fachlichkeit, Performance, Datenschutz und Wartbarkeit abgesichert.