Seminar Great Expectations (GX Core) – Grundlagen und erster End-to-End-Workflow

Das Seminar vermittelt den vollständigen GX-Core-Arbeitsablauf von der Projektinitialisierung bis zum automatisierten Checkpoint. Ein realistischer Datenbestand wird angebunden, in Batches gegliedert, mit einer Expectation Suite geprüft und über Validation Results sowie Data Docs nachvollziehbar ausgewertet.

Inhaltsübersicht

• Zielsetzung und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Zielsetzung

• Kernbegriffe und Objektbeziehungen von GX Core sicher anwenden.
• Einen File Data Context reproduzierbar einrichten.
• Data Source, Data Asset und Batch Definition für einen Beispielbestand konfigurieren.
• Expectation Suite und Validation Definition erstellen und testen.
• Checkpoint ausführen, Ergebnis interpretieren und Data Docs erzeugen.

Zielgruppe

Einsteiger in Datenqualität, Data Engineers, Analytics Engineers, Entwickler, Data Stewards und Projektmitarbeitende, die einen belastbaren praktischen Einstieg in GX Core benötigen.

Voraussetzungen

Python-Grundkenntnisse und grundlegendes Verständnis tabellarischer Daten. Erfahrungen mit Datenqualitätswerkzeugen sind nicht erforderlich.

Seminarinhalte

1. Schritt 1: Datenqualität und Einsatzgrenzen einordnen

   GX Core wird als Code-basiertes Prüfwerkzeug eingeordnet. Profiling, fachliche Freigabe, Datenbereinigung und vollständiges Monitoring werden davon abgegrenzt.

2. Schritt 2: Objektmodell verstehen

   Data Context, Data Source, Data Asset, Batch Definition, Expectation, Suite, Validation Definition, Checkpoint, Action, Store und Data Docs werden in einer Prozesskette angeordnet.

3. Schritt 3: Arbeitsumgebung aufbauen

   Virtuelle Python-Umgebung, Paketinstallation, Projektverzeichnis und ein ausführbares Startskript werden reproduzierbar eingerichtet.

4. Schritt 4: File Data Context erstellen

   Persistenter Kontext und zentrale Projektobjekte werden initialisiert. Verzeichnis- und Namenskonventionen werden festgelegt.

5. Schritt 5: Datenquelle anbinden

   Ein pandas-DataFrame oder eine Datei wird als Data Source und Data Asset registriert. Verbindung und geladenes Schema werden geprüft.

6. Schritt 6: Batch Definition anlegen

   Der zu prüfende Datenumfang wird als wiederverwendbare Batch Definition beschrieben und mit einem Testbatch verifiziert.

7. Schritt 7: Fachliche Regeln formulieren

   Anforderungen an Spalten, Nullwerte, Wertebereiche, Eindeutigkeit und Beziehungen werden als überprüfbare Aussagen beschrieben.

8. Schritt 8: Expectation Suite erstellen

   Mehrere Standard-Expectations werden einer Suite hinzugefügt, benannt und mit Severity sowie Beschreibung versehen.

9. Schritt 9: Regeln gegen einen Batch testen

   Positive und negative Testdaten zeigen, wie einzelne Regeln reagieren und welche Diagnoseinformationen entstehen.

10. Schritt 10: Validation Definition verbinden

    Batch Definition und Suite werden als wiederverwendbare Validation Definition zusammengeführt und direkt ausgeführt.

11. Schritt 11: Validation Results auswerten

    Gesamtstatus, Statistik, einzelne Expectation Results, beobachtete Werte und unerwartete Werte werden systematisch gelesen.

12. Schritt 12: Checkpoint konfigurieren

    Die Validation Definition wird in einen Checkpoint aufgenommen. Laufparameter und der Unterschied zwischen fachlichem Fehlschlag und technischem Fehler werden behandelt.

13. Schritt 13: Data Docs erzeugen

    Suite und Ergebnisse werden als lesbare Data Docs gebaut. Detailtiefe und Datenschutz werden kurz bewertet.

14. Schritt 14: End-to-End-Lauf automatisieren

    Ein ausführbares Python-Programm lädt Daten, startet den Checkpoint, bewertet den Status und dokumentiert den Lauf reproduzierbar.

Praxisübungen

• Projekt und File Data Context in einer frischen Umgebung anlegen.
• Datenbestand als Asset und Batch Definition registrieren.
• Suite mit mindestens sechs unterschiedlichen Expectations erstellen.
• Fehlerhafte Testdaten untersuchen und eine ungeeignete Regel korrigieren.
• Validation Definition und Checkpoint ausführen sowie Data Docs bauen.
• Vollständigen Ablauf in einem wiederholbaren Skript zusammenführen.

Methodik

Das zweitägige Seminar arbeitet an einem durchgängigen Referenzfall. Jeder neue Begriff wird unmittelbar im Projekt umgesetzt, mit Testdaten geprüft und in einer kompakten Betriebs- und Lernnotiz festgehalten.