Seminar Great Expectations (GX Core) – Dateisysteme und Cloud Object Storage

Dateibasierte Daten liegen häufig über viele Verzeichnisse, Formate und Zeitpartitionen verteilt. Das Seminar verbindet GX Core mit lokalen und netzgebundenen Dateisystemen sowie S3-kompatiblem Object Storage, Azure Blob Storage und Google Cloud Storage und entwickelt daraus stabile Data Assets und Batch Definitions.

Inhaltsübersicht

• Zielsetzung und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Zielsetzung

• Lokale, netzgebundene und cloudbasierte Filesystem Data Sources einrichten.
• File und Directory Data Assets nach Format, Präfix und fachlichem Zweck modellieren.
• CSV-, Parquet- und weitere Dateiformate mit passenden Leseoptionen behandeln.
• Datumsbasierte Batches und verspätete oder fehlende Dateien zuverlässig verarbeiten.
• Berechtigungen, Secrets, Kosten, Ergebnisvolumen und Betriebsfehler kontrollieren.

Zielgruppe

Data Engineers, Cloud Engineers, Analytics Engineers, Plattformteams und Entwickler, die dateibasierte Datenprodukte mit GX Core validieren.

Voraussetzungen

Python-Grundlagen, Verständnis von Dateiformaten und Verzeichnisstrukturen. Für Cloud-Übungen sind vorbereitete Laborzugänge vorhanden; produktspezifische Vorkenntnisse sind nicht erforderlich.

Seminarinhalte

1. Schritt 1: Dateibasierte Architektur erfassen

   Quelle, Format, Ordnerhierarchie, Dateinamenskonvention, Lieferfrequenz, Volumen und Verantwortlichkeit werden vor der GX-Konfiguration dokumentiert.

2. Schritt 2: Lokale Filesystem Data Source anlegen

   Basisverzeichnis, relativer Pfad und Kontextbezug werden eingerichtet. Portabilität zwischen Entwicklungs- und Zielumgebung wird geprüft.

3. Schritt 3: Cloud Data Source konfigurieren

   Bucket oder Container, Präfix, Region beziehungsweise Endpunkt und Authentisierung werden für das gewählte Object-Storage-System festgelegt.

4. Schritt 4: File und Directory Data Assets vergleichen

   Einzeldateien, Dateigruppen und ganze Verzeichnisse werden nach Selektionsbedarf, Format und Veränderungsrate als geeigneter Asset-Typ modelliert.

5. Schritt 5: Dateiformat und Leseparameter festlegen

   CSV-Delimiter, Header, Encoding, Datentypen sowie Parquet-Schema und weitere Optionen werden reproduzierbar hinterlegt.

6. Schritt 6: Muster und Präfixe kontrollieren

   Reguläre Ausdrücke, Pfadpräfixe und Dateiendungen werden so begrenzt, dass keine fremden oder temporären Dateien in den Batch gelangen.

7. Schritt 7: Batch Definitions nach Datum aufbauen

   Jahr, Monat, Tag und vollständiges Datum werden aus Pfad oder Dateiname abgeleitet. Batch Parameter werden aus Pipeline-Laufzeiten erzeugt.

8. Schritt 8: Verspätete, fehlende und doppelte Dateien behandeln

   Erwartete Lieferfenster, Wiederholungen, Korrekturlieferungen und unvollständige Partitionen werden mit eindeutigen Prüf- und Eskalationsregeln versehen.

9. Schritt 9: Schema- und Formatabweichungen erkennen

   Spalten, Datentypen, Reihenfolge, Kodierung und beschädigte Dateien werden vor oder innerhalb der fachlichen Validierung kontrolliert.

10. Schritt 10: Berechtigungen und Secrets absichern

    Minimalberechtigungen, kurzlebige Zugangsdaten, Umgebungsvariablen und Secrets Manager werden gegenüber fest hinterlegten Schlüsseln bevorzugt.

11. Schritt 11: Kosten und Leistung steuern

    Dateigröße, Anzahl von Objekten, List-Operationen, Downloadvolumen, Spaltenauswahl und Engine-Wahl werden auf Laufzeit und Cloud-Kosten geprüft.

12. Schritt 12: Betriebsdiagnose und Wiederanlauf umsetzen

    Nicht erreichbare Speicherziele, Berechtigungsfehler, geänderte Präfixe und Teilbestände werden über strukturierte Logs und kontrollierte Wiederholung bearbeitet.

Praxisübungen

• Lokales CSV-Asset und Parquet-Verzeichnis als getrennte Data Assets konfigurieren.
• Datumsbasierte Batch Definition aus Dateinamen oder Ordnerpfad ableiten.
• Cloud-Asset mit minimaler Berechtigung und ausgelagertem Secret einrichten.
• Fehlende, doppelte und verspätete Datei in einem Lieferlauf diagnostizieren.
• Leseoptionen und Asset-Muster so korrigieren, dass nur der vorgesehene Datenbestand validiert wird.

Methodik

Die Teilnehmenden bauen dieselbe fachliche Datenlieferung zunächst lokal und anschließend in einem Cloud-Labor auf. Jede Konfiguration wird mit Positiv- und Fehlerfällen geprüft und in einer Betriebs- und Sicherheitscheckliste festgehalten.