Seminar Collibra Intensiv: Catalog, Integration, Lineage und Data Products

Der Kurs folgt dem Lebensweg von Metadaten: technische Objekte werden aufgenommen, fachlich angereichert, über Lineage verständlich gemacht und als kontrolliertes Datenprodukt bereitgestellt.

Die Teilnehmenden arbeiten an einem End-to-End-Szenario mit realistischen Abhängigkeiten zwischen Integration, Stewardship, Qualität, Zugang und Nutzung.

Inhaltsübersicht

1. Tag 1: Data Catalog, Suche und Kuratierung
2. Tag 2: Metadata Integration, Edge und ERP/CRM
3. Tag 3: Business und Technical Lineage
4. Tag 4: Data Marketplace, Data Products und Contracts
5. Tag 5: End-to-End-Betrieb und Optimierung

Zielsetzung

Nach dem Seminar können Metadatenflüsse, Katalogstrukturen, Lineage und Datenprodukte gemeinsam konzipiert, eingerichtet, geprüft und für Datenkonsumenten veröffentlicht werden.

Zielgruppe

Data Engineers, Data Architects, Katalog- und Integrationsverantwortliche, Data Stewards, Data Product Manager, Analytics- und Plattformteams

Voraussetzungen

Grundverständnis von Datenbanken, Metadaten und Datenpipelines; grundlegende Collibra-Kenntnisse sind hilfreich

Seminarinhalte

Tag 1: Data Catalog, Suche und Kuratierung

1. Schritt 1: Katalogstruktur, Asset-Seiten, Ansichten und Suchmechanismen zielgerichtet nutzen.
2. Schritt 2: Mindestmetadaten, Eigentum und Vertrauenssignale für technische Assets definieren.
3. Schritt 3: Klassifizierung, Profiling und Samples zur fachlichen Einordnung einsetzen.
4. Schritt 4: Suchqualität durch Beschreibungen, Beziehungen und Synonyme verbessern.
5. Schritt 5: Zertifizierungs- und Pflegekriterien für kritische Datenbestände festlegen.
6. Schritt 6: Einen Katalogbereich für die spätere Integration vorbereiten.

Tag 2: Metadata Integration, Edge und ERP/CRM

1. Schritt 1: Edge- beziehungsweise Cloud-Ressourcen, Verbindungen und Fähigkeiten architektonisch einordnen.
2. Schritt 2: Quellsystem, Authentifizierung, Umfang, Domänenzuordnung und Zeitplan planen.
3. Schritt 3: JDBC-, Cloud-, BI- und ERP/CRM-Metadaten nach geeigneten Integrationsmustern unterscheiden.
4. Schritt 4: SAP- und andere Anwendungsmetadaten fachlich verständlich abbilden.
5. Schritt 5: Synchronisation ausführen, Ergebnisse prüfen und Mappingfehler korrigieren.
6. Schritt 6: Einen wiederholbaren Aufnahme- und Kontrollprozess dokumentieren.

Tag 3: Business und Technical Lineage

1. Schritt 1: Lineage-Aufnahme und technische Voraussetzungen für ausgewählte Quellen konfigurieren.
2. Schritt 2: Graphen, Transformationen, Spaltenabhängigkeiten und Quellcode analysieren.
3. Schritt 3: Stitching zwischen Systemgrenzen prüfen und Namensräume korrigieren.
4. Schritt 4: Business Assets mit technischen Objekten und kritischen Pfaden verbinden.
5. Schritt 5: Impact- und Root-Cause-Analysen für ein Änderungsszenario durchführen.
6. Schritt 6: Lineage-Qualität und Aktualisierung in den Betrieb überführen.

Tag 4: Data Marketplace, Data Products und Contracts

1. Schritt 1: Kuratierte Marketplace-Angebote für konkrete Verbrauchergruppen gestalten.
2. Schritt 2: Datenprodukt, Bestandteile, Eigentum und fachlichen Zweck modellieren.
3. Schritt 3: Data Contract mit Schema, Qualität, Aktualität, Zugang und Änderungsregeln formulieren.
4. Schritt 4: Lineage-, Qualitäts- und Klassifikationssignale in die Produktbewertung einbinden.
5. Schritt 5: Zugangsweg und Data Notebook für Nutzung und Dokumentation vorbereiten.
6. Schritt 6: Ein veröffentlichungsfähiges Datenprodukt erstellen.

Tag 5: End-to-End-Betrieb und Optimierung

1. Schritt 1: Den vollständigen Fluss von Quelle über Katalog und Lineage bis zum Produkt validieren.
2. Schritt 2: Fehler-, Qualitäts- und Zugriffsereignisse den richtigen Verantwortlichen zuordnen.
3. Schritt 3: Aktualisierungszyklen, Produktreviews und Synchronisationskontrollen abstimmen.
4. Schritt 4: Nutzungs- und Qualitätskennzahlen für Katalog und Produkte auswählen.
5. Schritt 5: Änderungsfolgen für Verbraucher und Verträge systematisch behandeln.
6. Schritt 6: Das Gesamtszenario mit Betriebscheckliste und Verbesserungsbacklog abschließen.

Praxisanteil

Das Intensivlabor nimmt Metadaten auf, kuratiert den Katalog, schließt Lineage-Verbindungen und veröffentlicht ein Datenprodukt mit Contract, Zugang, Notebook-Nutzung und Betriebscheckliste.