Seminar Great Expectations (GX Core) – Multi-Source Expectations und Datenabgleich

Datenmigrationen und ETL-Strecken müssen nicht nur einzelne Tabellen prüfen, sondern die Konsistenz zwischen Quell- und Zielsystem nachweisen. Das Seminar verwendet Multi-Source Expectations, um SQL-Abfragen aus zwei Data Sources zu vergleichen und Abweichungen bei Zeilen, Aggregaten, Schemata, Zeitfenstern und fachlichen Kennzahlen kontrolliert zu erkennen.

Inhaltsübersicht

• Zielsetzung und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Zielsetzung

• Geeignete Vergleichsszenarien und fachliche Gleichheitskriterien definieren.
• Zwei SQL Data Sources für einen reproduzierbaren Datenabgleich konfigurieren.
• Basis- und Vergleichsabfragen deterministisch und dialektgerecht formulieren.
• Multi-Source Expectations mit mostly, Parametern und Diagnoseinformationen einsetzen.
• Abweichungen analysieren und Abgleiche in Migration oder laufende Pipelines integrieren.

Zielgruppe

Data Engineers, Integrationsentwickler, Migrationsteams, Analytics Engineers, Data Stewards und Revisionsverantwortliche, die Daten zwischen Systemen vergleichen müssen.

Voraussetzungen

Sichere SQL-Kenntnisse, Verständnis von Schlüsseln, Aggregationen und ETL-Prozessen sowie GX-Core-Grundkenntnisse. Zugriff auf zwei vorbereitete SQL-Datenquellen wird bereitgestellt.

Seminarinhalte

1. Schritt 1: Vergleichszweck und Risikogrenze bestimmen

   Migration, Replikation, Datenladeprozess oder periodischer Abgleich werden nach gewünschter Sicherheit, Frequenz und tolerierter Abweichung eingeordnet.

2. Schritt 2: Vergleichseinheit festlegen

   Vollständige Zeilen, Schlüsselbestände, Zeilenanzahl, Summen, Zeitfenster, Statusverteilungen oder abgeleitete Kennzahlen werden als geeignete Ebene ausgewählt.

3. Schritt 3: Data Sources und Zugriffsrechte einrichten

   Quell- und Zielverbindung erhalten eindeutige Namen und minimale Leserechte. Netz, Treiber und Geheimnisübergabe werden getrennt geprüft.

4. Schritt 4: Abfragen deterministisch gestalten

   Spaltenauswahl, Reihenfolge, Sortierung, Datentypen, Nullwerte und Duplikate werden so behandelt, dass gleiche Daten tatsächlich gleich dargestellt werden.

5. Schritt 5: Dialektunterschiede ausgleichen

   Datumsfunktionen, Casts, Rundung, Zeichenketten, Groß-/Kleinschreibung und Zeitzonen werden pro Datenquelle kontrolliert normalisiert.

6. Schritt 6: Multi-Source Expectation konfigurieren

   Basisabfrage, Vergleichs-Data-Source, Vergleichsabfrage, Beschreibung und mostly werden als nachvollziehbare Regel angelegt.

7. Schritt 7: Schwellen und mostly fachlich begründen

   Exakte Gleichheit und tolerierte Abweichung werden nach Risiko, Datenvolumen und bekannten Übergangseffekten differenziert.

8. Schritt 8: Parameter und Zeitfenster einsetzen

   Stichtag, Mandant, Partition und Lade-ID werden kontrolliert an beide Abfragen übergeben, damit identische fachliche Ausschnitte verglichen werden.

9. Schritt 9: Ergebnisse und Abweichungen interpretieren

   Matching-Anteil, fehlende oder zusätzliche Zeilen und unterschiedliche Werte werden nach technischem oder fachlichem Ursprung klassifiziert.

10. Schritt 10: Drill-down-Prüfungen ergänzen

    Ein grober Aggregatvergleich wird bei Fehlern durch Schlüssel- oder Zeilenvergleich verfeinert. Diagnoseabfragen bleiben begrenzt und reproduzierbar.

11. Schritt 11: Leistung und Datenvolumen steuern

    Voraggregation, Schlüsselbereiche, Partition Pruning, Indizes und gestufte Prüfungen verhindern unnötige Vollvergleiche.

12. Schritt 12: Migration und Pipeline-Gate integrieren

    Abgleichsergebnis wird mit Cutover-Kriterium, Quarantäne, Wiederholung oder Freigabe verbunden.

13. Schritt 13: Audit-Nachweis und Aufbewahrung organisieren

    Run Identifier, Datenstände, Abfragen, Parameter, Ergebnis und Freigabeentscheidung werden nachvollziehbar dokumentiert.

Praxisübungen

• Zwei SQL Data Sources mit getrennten Zugangsdaten konfigurieren.
• Zeilenanzahl und fachliche Summe zwischen Quelle und Ziel vergleichen.
• Dialekt- und Rundungsunterschied gezielt erkennen und normalisieren.
• Parameterisierten Stichtagsvergleich mit mostly-Schwelle umsetzen.
• Gestuften Abgleich von Aggregat über Schlüssel bis zur Fehlerzeile entwickeln.
• Abgleich als Freigabekriterium für einen simulierten Migrations-Cutover verwenden.

Methodik

Ein durchgängiges Migrationsszenario verbindet Quell- und Zielsystem. Die Vergleiche werden von einer groben Plausibilisierung bis zum gezielten Drill-down aufgebaut, mit Abweichungen getestet und in eine Freigabematrix überführt.