Seminar Collibra Data Lineage: Business und Technical Lineage

Lineage schafft Vertrauen, wenn technische Details und fachliche Bedeutung konsistent miteinander verbunden sind. Erst dann lassen sich Änderungen, Qualitätsprobleme und Berichtsaussagen zuverlässig bewerten.

Der Kurs umfasst Navigation, Integration, Mapping, Stitching, Transformationen, Custom Lineage und Betriebsanalyse. Übungen bilden einen vollständigen Datenfluss ab.

Inhaltsübersicht

1. Tag 1: Lineage-Grundlagen, Graphen und fachlicher Kontext
2. Tag 2: Aufnahme, Mapping, Stitching und Transformationen
3. Tag 3: Impact Analysis, Fehleranalyse und Betrieb

Zielsetzung

Nach dem Seminar können Lineage-Graphen interpretiert, technische Lineage-Aufnahmen vorbereitet, fachliche und technische Objekte verbunden sowie Impact- und Root-Cause-Analysen systematisch durchgeführt werden.

Zielgruppe

Data Engineers, Data Architects, technische Data Stewards, BI- und Analytics-Teams, Data Quality Teams, Plattformintegratoren

Voraussetzungen

Grundkenntnisse relationaler Datenstrukturen, Datenpipelines oder BI-Landschaften; grundlegende Collibra-Kenntnisse sind hilfreich

Seminarinhalte

Tag 1: Lineage-Grundlagen, Graphen und fachlicher Kontext

1. Schritt 1: Business Lineage und Technical Lineage nach Zielgruppe, Detailgrad und Einsatz unterscheiden.
2. Schritt 2: Quellen, Zwischenstufen, Transformationen und Ziele in einem End-to-End-Fluss identifizieren.
3. Schritt 3: Lineage-Graphen navigieren, filtern und auf relevante Pfade reduzieren.
4. Schritt 4: Fachliche Assets mit repräsentierten technischen Objekten verbinden.
5. Schritt 5: Unvollständige, widersprüchliche oder nicht aufgelöste Beziehungen erkennen.
6. Schritt 6: Einen vorhandenen Datenfluss fachlich beschreiben und auf Vertrauenssignale prüfen.

Tag 2: Aufnahme, Mapping, Stitching und Transformationen

1. Schritt 1: Voraussetzungen für eine technische Lineage-Aufnahme über Edge oder Cloud-Ressourcen prüfen.
2. Schritt 2: Quellsysteme, Verbindungen, Konfigurationen und Synchronisationsumfang festlegen.
3. Schritt 3: Namensräume, Datenbankzuordnungen und externe Identifikatoren konsistent abbilden.
4. Schritt 4: Stitching zwischen getrennt aufgenommenen Systemen analysieren und korrigieren.
5. Schritt 5: Transformationscode und Spaltenabhängigkeiten für kritische Pfade untersuchen.
6. Schritt 6: Custom Lineage für nicht standardmäßig unterstützte Datenflüsse konzeptionell modellieren.

Tag 3: Impact Analysis, Fehleranalyse und Betrieb

1. Schritt 1: Upstream- und Downstream-Analysen für geplante Änderungen durchführen.
2. Schritt 2: Auswirkungen auf Berichte, Datenprodukte, Qualitätsregeln und fachliche Begriffe bewerten.
3. Schritt 3: Qualitätsabweichungen mithilfe von Lineage bis zur wahrscheinlichen Ursache zurückverfolgen.
4. Schritt 4: Analysefehler, fehlende Objekte und Synchronisationsprobleme strukturiert diagnostizieren.
5. Schritt 5: Kritische Lineage-Pfade priorisieren und mit Eigentum sowie Kontrollen versehen.
6. Schritt 6: Einen Betriebsprozess für Aktualisierung, Prüfung und Eskalation definieren.

Praxisanteil

Die Übungen analysieren einen mehrstufigen Datenfluss, schließen eine Stitching-Lücke, führen eine Änderungsfolgenanalyse durch und verfolgen einen Qualitätsfehler bis zur technischen Ursache zurück.