Seminar OpenLineage Integration mit Apache Airflow

Zielsetzung

Das Seminar behandelt die Integration von OpenLineage in orchestrierte Datenpipelines mit Apache Airflow. Schwerpunkt sind Konfiguration, Namenskonventionen, DAG-Strukturen, Laufzeitereignisse und die Prüfung der erzeugten Lineage in Marquez.

Inhaltsübersicht

• Einordnung von Airflow-DAGs, Tasks und Runs in OpenLineage-Strukturen
• Konfiguration der OpenLineage-Erfassung für orchestrierte Pipelines
• Mapping von DAGs, Tasks, Datasets und Laufzeitinformationen
• Prüfung der erzeugten Lineage in Marquez
• Typische Fehlerbilder bei Orchestrierung, Wiederholungsläufen und Task-Grenzen

Seminarinhalte

1. Schritt 1: Airflow-Strukturen zuordnen
   DAGs, Tasks, Operatoren und Ausführungsläufe werden auf Jobs, Runs und Datasets abgebildet. Dadurch wird klar, an welchen Stellen Lineage entsteht und wo nur technische Steuerungslogik vorliegt.
2. Schritt 2: Konfiguration planen
   Notwendige Parameter, Zielendpunkte, Umgebungen und Namensräume werden festgelegt. Das Seminar behandelt getrennte Entwicklungs-, Test- und Produktionsumgebungen, damit Metadaten später nicht in einem großen Eintopf landen.
3. Schritt 3: Beispiel-DAG instrumentieren
   Eine Beispielpipeline wird mit Eingabe- und Ausgabedatasets ausgeführt. Danach werden START- und COMPLETE-Informationen ausgewertet und in Marquez geprüft.
4. Schritt 4: Komplexere Abläufe untersuchen
   Mehrstufige DAGs, abhängige Tasks, Wiederholungsläufe und Fehlerzustände werden betrachtet. Der Fokus liegt auf der Frage, ob der Lineage-Graph den fachlichen Datenfluss tatsächlich nachvollziehbar zeigt.
5. Schritt 5: Naming und Governance verbinden
   Für DAGs, Tasks, Datasets und Umgebungen werden Regeln entwickelt. Diese Regeln verhindern doppelte Jobs, unklare Quellen und Graphen, in denen jede Abteilung ihre ganz eigene Rechtschreibung pflegt.
6. Schritt 6: Betrieb prüfen
   Abschließend werden Logs, API-Ereignisse, Marquez-Anzeige und Fehlerszenarien kontrolliert. Daraus entsteht eine Prüfliste für Airflow-basierte Lineage-Integrationen.

Praktische Übungen

• Zuordnung eines DAGs zu OpenLineage-Objekten
• Ausführung einer Beispielpipeline mit Lineage-Erfassung
• Analyse der entstehenden Jobs, Runs und Datasets in Marquez
• Simulation eines fehlerhaften Task-Laufs
• Erarbeitung eines Namensschemas für DAGs und Datasets

Zielgruppe

Airflow-Entwicklung, Data Engineers, Plattformteams und technische Verantwortliche für Pipeline-Orchestrierung.

Voraussetzungen

Grundkenntnisse in Apache Airflow, Python, Datenpipelines und JSON-Strukturen.