Seminar DataHub Lineage auf Tabellen- und Spaltenebene

Lineage ist nur dann nützlich, wenn Kanten technisch korrekt, fachlich plausibel und aktuell sind. Das Seminar verbindet Herkunftserfassung, Qualitätsprüfung und operative Nutzung.

Lernziele

• Lineage-Entitäten, Kanten und Darstellungsgrenzen korrekt interpretieren
• automatisch erfasste und manuell ergänzte Lineage unterscheiden
• Tabellen- und Spaltenbeziehungen kontrolliert erfassen
• Identitäts-, Duplikat- und Aktualitätsfehler diagnostizieren
• Impact Analysis für Änderungen und Qualitätsvorfälle durchführen

Zielgruppe

Data Engineers, Analytics Engineers, Datenarchitekten, Data Stewards, Qualitätsverantwortliche und Plattformteams.

Voraussetzungen

Grundverständnis von Datenpipelines, Tabellen, Transformationen und technischen Objektidentitäten. SQL-Kenntnisse sind hilfreich.

Inhaltsübersicht

1. Kapitel 1: Lineage-Modell und Vertrauensgrundlage
2. Kapitel 2: Automatische Erfassung
3. Kapitel 3: Manuelle und API-basierte Lineage
4. Kapitel 4: Spalten-Lineage
5. Kapitel 5: Impact Analysis und Governance

Kapitel 1: Lineage-Modell und Vertrauensgrundlage

Inhaltsübersicht dieses Kapitels: Beziehungstypen unterscheiden; Identitäten prüfen; Vertrauen bewerten.

Schritt 1: Beziehungstypen unterscheiden

Dataset-, Pipeline-, Job- und Spaltenbeziehungen werden nach Richtung, Granularität, Quelle und zeitlicher Gültigkeit eingeordnet. Vor der Umsetzung werden Voraussetzungen, betroffene Objekte und erwartete Ergebnisse festgehalten. Die Ausführung erfolgt in einer abgegrenzten Übungsumgebung und endet mit einer dokumentierten Soll-Ist-Prüfung.

Schritt 2: Identitäten prüfen

Plattform, Instanz, Umgebung, Datenbank, Schema und Objektname werden auf konsistente URNs und mögliche Duplikate untersucht. Konfiguration, Zuständigkeit und mögliche Fehlerbilder werden ausdrücklich berücksichtigt. Das Ergebnis wird mit technischen und fachlichen Prüfkriterien bewertet und als wiederverwendbarer Arbeitsschritt dokumentiert.

Schritt 3: Vertrauen bewerten

Quelle der Kante, Aktualität, Vollständigkeit, bekannte Transformation und fachliche Plausibilität werden als getrennte Qualitätsmerkmale dokumentiert. Abweichungen werden nicht durch pauschale Wiederholung verdeckt, sondern nach Ursache, Auswirkung und Korrekturweg eingeordnet. Eine abschließende Kontrolle bestätigt, dass der Arbeitsschritt reproduzierbar ausgeführt werden kann.

Kapitel 2: Automatische Erfassung

Inhaltsübersicht dieses Kapitels: Konnektorleistung bewerten; Extraktion konfigurieren; Ergebnis validieren.

Schritt 1: Konnektorleistung bewerten

Unterstützte Lineage-Arten, erforderliche Berechtigungen, Abfragehistorie, Parsergrenzen und Kosten für das Quellsystem werden geprüft. Vor der Umsetzung werden Voraussetzungen, betroffene Objekte und erwartete Ergebnisse festgehalten. Die Ausführung erfolgt in einer abgegrenzten Übungsumgebung und endet mit einer dokumentierten Soll-Ist-Prüfung.

Schritt 2: Extraktion konfigurieren

Quellumfang, Zeitraum, Filter, Plattforminstanz und Laufreihenfolge werden so festgelegt, dass Kanten den richtigen Assets zugeordnet werden. Konfiguration, Zuständigkeit und mögliche Fehlerbilder werden ausdrücklich berücksichtigt. Das Ergebnis wird mit technischen und fachlichen Prüfkriterien bewertet und als wiederverwendbarer Arbeitsschritt dokumentiert.

Schritt 3: Ergebnis validieren

Bekannte Positiv- und Negativbeispiele, Kantenanzahl, fehlende Stufen und unerwartete Schleifen werden systematisch kontrolliert. Abweichungen werden nicht durch pauschale Wiederholung verdeckt, sondern nach Ursache, Auswirkung und Korrekturweg eingeordnet. Eine abschließende Kontrolle bestätigt, dass der Arbeitsschritt reproduzierbar ausgeführt werden kann.

Kapitel 3: Manuelle und API-basierte Lineage

Inhaltsübersicht dieses Kapitels: Ergänzungsfall begründen; Kante erfassen; Pflege absichern.

Schritt 1: Ergänzungsfall begründen

Nicht automatisch erkennbare externe Schritte, fachliche Ableitungen und Übergangslösungen werden mit Eigentümer und Gültigkeitsgrenze beschrieben. Vor der Umsetzung werden Voraussetzungen, betroffene Objekte und erwartete Ergebnisse festgehalten. Die Ausführung erfolgt in einer abgegrenzten Übungsumgebung und endet mit einer dokumentierten Soll-Ist-Prüfung.

Schritt 2: Kante erfassen

Quell- und Zielidentität, Richtung, Typ und gegebenenfalls Spaltenzuordnung werden eindeutig gebildet und idempotent geschrieben. Konfiguration, Zuständigkeit und mögliche Fehlerbilder werden ausdrücklich berücksichtigt. Das Ergebnis wird mit technischen und fachlichen Prüfkriterien bewertet und als wiederverwendbarer Arbeitsschritt dokumentiert.

Schritt 3: Pflege absichern

Überprüfung, Änderung, Ablösung durch automatische Erfassung und Löschung erhalten klare Zuständigkeit und dokumentierte Kriterien. Abweichungen werden nicht durch pauschale Wiederholung verdeckt, sondern nach Ursache, Auswirkung und Korrekturweg eingeordnet. Eine abschließende Kontrolle bestätigt, dass der Arbeitsschritt reproduzierbar ausgeführt werden kann.

Kapitel 4: Spalten-Lineage

Inhaltsübersicht dieses Kapitels: Kritische Attribute auswählen; Transformation nachvollziehen; Spaltenbeziehungen prüfen.

Schritt 1: Kritische Attribute auswählen

Geschäftsrelevanz, Schutzbedarf, Qualitätsrisiko und Änderungsdynamik werden genutzt, um Spalten mit hohem Prüfbedarf zu priorisieren. Vor der Umsetzung werden Voraussetzungen, betroffene Objekte und erwartete Ergebnisse festgehalten. Die Ausführung erfolgt in einer abgegrenzten Übungsumgebung und endet mit einer dokumentierten Soll-Ist-Prüfung.

Schritt 2: Transformation nachvollziehen

Direkte Übernahme, Umbenennung, Berechnung, Aggregation, Filterung und Mehrquellenableitung werden je Spalte fachlich eingeordnet. Konfiguration, Zuständigkeit und mögliche Fehlerbilder werden ausdrücklich berücksichtigt. Das Ergebnis wird mit technischen und fachlichen Prüfkriterien bewertet und als wiederverwendbarer Arbeitsschritt dokumentiert.

Schritt 3: Spaltenbeziehungen prüfen

Vollständigkeit, Richtung, Quellspalte, Zielspalte und Transformation werden gegen SQL, Modellartefakte oder bekannte Regeln validiert. Abweichungen werden nicht durch pauschale Wiederholung verdeckt, sondern nach Ursache, Auswirkung und Korrekturweg eingeordnet. Eine abschließende Kontrolle bestätigt, dass der Arbeitsschritt reproduzierbar ausgeführt werden kann.

Kapitel 5: Impact Analysis und Governance

Inhaltsübersicht dieses Kapitels: Auswirkungsraum bestimmen; Kritikalität bewerten; Entscheidung dokumentieren.

Schritt 1: Auswirkungsraum bestimmen

Nachgelagerte Tabellen, Dashboards, Pipelines, Datenprodukte und verantwortliche Rollen werden für eine Änderung oder Störung ermittelt. Vor der Umsetzung werden Voraussetzungen, betroffene Objekte und erwartete Ergebnisse festgehalten. Die Ausführung erfolgt in einer abgegrenzten Übungsumgebung und endet mit einer dokumentierten Soll-Ist-Prüfung.

Schritt 2: Kritikalität bewerten

Nutzung, Produktzusagen, Schutzbedarf, Qualitätsstatus und betroffene Geschäftsprozesse werden zu einer priorisierten Auswirkungsliste verbunden. Konfiguration, Zuständigkeit und mögliche Fehlerbilder werden ausdrücklich berücksichtigt. Das Ergebnis wird mit technischen und fachlichen Prüfkriterien bewertet und als wiederverwendbarer Arbeitsschritt dokumentiert.

Schritt 3: Entscheidung dokumentieren

Freigabe, Kommunikationsbedarf, Testumfang, Rückfallplan und Nachkontrolle werden anhand der Lineage-Evidenz festgelegt. Abweichungen werden nicht durch pauschale Wiederholung verdeckt, sondern nach Ursache, Auswirkung und Korrekturweg eingeordnet. Eine abschließende Kontrolle bestätigt, dass der Arbeitsschritt reproduzierbar ausgeführt werden kann.

Praxisübungen

Inhaltsübersicht dieses Kapitels: Anwendung, Prüfung und Dokumentation der behandelten Arbeitsschritte.

1. Analyse und Qualitätsbewertung einer mehrstufigen Tabellen-Lineage
2. Diagnose eines Identitätsfehlers mit duplizierten Assets
3. Erfassung einer manuellen Lineage-Kante mit Pflegekonzept
4. Validierung einer Spalten-Lineage anhand einer Transformation
5. Durchführung einer vollständigen Impact Analysis

Methodik

Inhaltsübersicht dieses Kapitels: Vermittlungsform, Übungsorganisation und Qualitätssicherung.

Modellklärung, Systemanalyse und praktische Erfassung wechseln mit kontrollierten Fehlerfällen. Jede Lineage-Aussage wird anhand von Herkunft, Identität und fachlicher Plausibilität geprüft.