Seminar Great Expectations (GX Core) – Expectations und Expectation Suites

Expectations beschreiben überprüfbare Aussagen über Daten; Expectation Suites bündeln diese Aussagen zu einem wartbaren Regelwerk. Das Seminar führt vom gezielten Einsatz des Standardkatalogs über Schwellen, mostly und Metadaten bis zu strukturierten Suites, die fachlich verständlich, technisch testbar und betrieblich nutzbar bleiben.

Inhaltsübersicht

• Zielsetzung und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Zielsetzung

• Geeignete Standard-Expectations für Tabellen, Spalten und Beziehungen auswählen.
• Schwellen, mostly, Nullbehandlung und Ergebnisdetails fachlich korrekt konfigurieren.
• Expectations mit Beschreibung, Severity und Metadaten verständlich dokumentieren.
• Suites nach Datenprodukt, Pipeline-Stufe und Verantwortlichkeit strukturieren.
• Regeln testen, aktualisieren, vergleichen und ohne unnötige Duplikate verwalten.

Zielgruppe

Data Engineers, Analytics Engineers, Data Stewards, Entwickler und Fachverantwortliche, die GX-Core-Regelwerke erstellen oder pflegen.

Voraussetzungen

Python-Grundlagen und Verständnis tabellarischer Daten. Ein vorbereiteter Data Context wird bereitgestellt; GX-Vorkenntnisse sind nicht zwingend erforderlich.

Seminarinhalte

1. Schritt 1: Expectation als überprüfbare Aussage formulieren

   Eine fachliche Anforderung wird in Datenbereich, Bedingung, Schwelle und erwartete Reaktion zerlegt, bevor eine Klasse ausgewählt wird.

2. Schritt 2: Tabellenbezogene Expectations einsetzen

   Zeilenanzahl, Spaltenbestand, Spaltenreihenfolge und weitere strukturelle Eigenschaften werden nach Nutzen und Stabilität geprüft.

3. Schritt 3: Spaltenwerte validieren

   Nullwerte, Wertemengen, Bereiche, Muster, Datentypen und Eindeutigkeit werden mit passenden Expectations abgedeckt.

4. Schritt 4: Verteilungen und statistische Kennzahlen bewerten

   Quantile, Mittelwerte, Abweichungen und Verteilungen werden vorsichtig eingesetzt, damit natürliche Schwankungen nicht zu unbrauchbaren Alarmen führen.

5. Schritt 5: Beziehungen zwischen Spalten prüfen

   Spaltenpaare und mehrspaltige fachliche Zusammenhänge werden als konsistente Regeln modelliert.

6. Schritt 6: Nullsemantik und fehlende Werte behandeln

   Fehlend, leer, technisch null und fachlich unbekannt werden unterschieden. Erwartungen und Vorfilter werden entsprechend gewählt.

7. Schritt 7: Toleranzen mit mostly steuern

   Prozentuale Toleranzen werden aus Risiko und Datenvolumen abgeleitet. Kleine Batches und starke Schwankungen werden gesondert betrachtet.

8. Schritt 8: Beschreibung, Severity und Metadaten ergänzen

   Regelzweck, Eigentümer, Fachbezug und Handlungsstufe werden direkt an der Expectation nachvollziehbar gehalten.

9. Schritt 9: Expectation Suite anlegen und pflegen

   Regeln werden hinzugefügt, ersetzt, entfernt und abgerufen. Eindeutige Namen und kontrollierte Änderungen verhindern Schattenkopien.

10. Schritt 10: Suite-Grenzen festlegen

    Eine Suite erhält einen klaren Daten- und Prozessbezug. Zu breite Mischungen aus unabhängigen Domänen werden aufgeteilt.

11. Schritt 11: Testdaten und Grenzfälle verwenden

    Positive, negative, leere und unerwartete Datensätze prüfen die Aussagekraft der Regeln und die Verständlichkeit der Ergebnisse.

12. Schritt 12: Suite-Review und Bereinigung durchführen

    Duplikate, widersprüchliche Schwellen, veraltete Regeln und fehlende Metadaten werden anhand einer Review-Matrix erkannt und korrigiert.

Praxisübungen

• Fachliche Anforderungen passenden Standard-Expectations zuordnen.
• Suite mit strukturellen, inhaltlichen und relationalen Regeln aufbauen.
• Nullbehandlung und mostly anhand kleiner und großer Batches vergleichen.
• Regeln mit Severity, Beschreibung und Eigentümer-Metadaten ergänzen.
• Suite-Review durchführen und eine fehlerhafte Regelarchitektur bereinigen.

Methodik

Ein gemeinsames Datenprodukt wird von der ersten Anforderung bis zur abgenommenen Suite bearbeitet. Demonstrationen, Regelentwurf, Codeübungen und Review wechseln sich ab; jede Regel wird mit gezielten Testdaten geprüft.