Seminar Great Expectations (GX Core)

GX Core ist ein Python-basiertes Framework für überprüfbare Datenqualitätsregeln in DataFrames, Dateien, SQL-Datenbanken und verteilten Datenplattformen. Das Seminarprogramm trennt Grundlagen, Datenzugriff, Regelentwicklung, Automatisierung und Betrieb, damit Lernpfade nach Rolle und Projektphase zusammengestellt werden können.

Inhaltsübersicht

• Plattform und Einsatzfelder
• Aufbau des Seminarportfolios
• Empfohlene Lernreihenfolge
• Lernpfade nach Rolle
• Kompakt- und Intensivformate
• Auswahl nach Projektsituation

Plattform und Einsatzfelder

Im Mittelpunkt steht der vollständige Validierungsweg: Ein Data Context verwaltet Data Sources, Data Assets und Batch Definitions. Expectations werden in Suites gebündelt, über Validation Definitions mit Daten verbunden und durch Checkpoints wiederholbar ausgeführt. Validation Results, Actions und Data Docs unterstützen Analyse, Automatisierung und nachvollziehbaren Betrieb.

Aufbau des Seminarportfolios

Die Einzelseminare behandeln jeweils einen klar abgegrenzten Aufgabenbereich. Datenzugriffe für pandas, Dateisysteme, Cloud Object Storage, SQL und Spark können unabhängig gewählt werden. Regelentwurf, Parameter, Row Conditions, Custom Expectations, Multi-Source-Abgleich, Checkpoints, Pipelines und Betrieb bilden darauf aufbauende Vertiefungen.

Empfohlene Lernreihenfolge

1. Schritt 1: Einstieg wählen

   Für einen vollständigen Einstieg beginnt der Lernpfad mit „Grundlagen und erster End-to-End-Workflow“. Bei knapper Projektzeit dient das „Kompaktseminar End-to-End-Datenvalidierung“ als gebündelte Alternative.

2. Schritt 2: Projektbasis festigen

   „Datenkontexte, Projektstruktur und Konfiguration“ sowie „Data-Quality-Design, Regelarchitektur und Governance“ schaffen technische und organisatorische Grundlagen.

3. Schritt 3: Datenzugriff auswählen

   Je nach Plattform folgen „Pandas und DataFrame-Validierung“, „Dateisysteme und Cloud Object Storage“, „SQL-Datenquellen und Data Assets“ oder „Apache Spark und verteilte Datenvalidierung“.

4. Schritt 4: Prüfeinheiten und Regeln aufbauen

   „Batches, Batch Definitions und Partitionierung“, „Expectations und Expectation Suites“ sowie „Expectation-Parameter, Row Conditions und Severity“ bilden das Regelwerk.

5. Schritt 5: Ausführung und Auswertung beherrschen

   „Validation Definitions, Result Formats und Ergebnisanalyse“, „Checkpoints, Actions und Benachrichtigungen“ und „Data Docs und Qualitätsberichte“ schließen den Kernworkflow.

6. Schritt 6: Automatisierung und Betrieb ergänzen

   „Pipeline-Integration, CI/CD und Orchestrierung“ sowie „Produktiver Betrieb, Sicherheit und Stores“ führen in den dauerhaften Einsatz.

7. Schritt 7: Spezialisierung wählen

   Custom Expectations mit Python, SQL-basierte Fehlerdatensätze, Multi-Source-Abgleich sowie Fehlersuche und Performance folgen nach Bedarf. Bestehende Altprojekte ergänzen den Lernpfad um die Migration von GX 0.18 auf GX Core 1.x.

Lernpfade nach Rolle

• Data Stewards und Governance: Grundlagen, Regelarchitektur, Expectations und Suites, Parameter und Severity, Ergebnisanalyse sowie Data Docs.
• Data Engineers: Grundlagen, passende Datenquelle, Batches, Expectations, Validation Definitions, Checkpoints und Pipeline-Integration.
• Entwickler: Grundlagen, Expectations und Suites, Parameter und Row Conditions, Custom Expectations mit Python, SQL-basierte Prüfungen und Multi-Source-Abgleich.
• Plattform- und DevOps-Teams: Datenkontexte, SQL oder Cloud Storage, Spark, Checkpoints, Pipelines, produktiver Betrieb sowie Fehlersuche und Performance.
• Migrationsteams: SQL-Datenquellen, Multi-Source Expectations, Ergebnisanalyse, Pipeline-Integration und Migration von GX 0.18 auf GX Core 1.x.

Kompakt- und Intensivformate

Das dreitägige Kompaktseminar vermittelt den vollständigen Kernworkflow. Das fünftägige „Intensivseminar Gesamtprogramm“ fasst alle Einzelseminare auf Überblicks- und Praxisebene zusammen. Die Intensivseminare „Entwicklung und Validierungslogik“ sowie „Automatisierung, Betrieb und Skalierung“ bieten rollenbezogene Vertiefungsalternativen.

Auswahl nach Projektsituation

• Proof of Concept: Grundlagen oder Kompaktseminar plus passendes Datenquellenseminar.
• Neues produktives Datenprodukt: Grundlagen, Regelarchitektur, Datenquelle, Batches, Suites, Validation Definitions, Checkpoints, Pipeline und Betrieb.
• Eigene Fachregeln: Expectations und Suites, Parameter und Row Conditions, anschließend Python- oder SQL-Custom-Expectations.
• Datenmigration oder ETL-Abgleich: SQL-Datenquellen, Multi-Source Expectations, Ergebnisanalyse und Pipeline-Integration.
• Plattformkonsolidierung: Gesamtprogramm oder Betrieb-und-Skalierung-Intensivseminar mit anschließender projektspezifischer Vertiefung.