Seminar Collibra Data Quality & Observability

Datenqualität muss kontinuierlich beobachtet werden. Punktuelle Prüfungen reichen nicht aus, wenn Quellen, Pipelines und Verbraucher sich laufend verändern.

Der Kurs verbindet technische Messung mit fachlicher Verantwortlichkeit. Qualitätsprobleme werden nicht nur erkannt, sondern priorisiert, analysiert und in einen nachvollziehbaren Bearbeitungsprozess überführt.

Inhaltsübersicht

1. Tag 1: Profiling, Beobachtbarkeit und Qualitätsmodell
2. Tag 2: Regeln, Schwellenwerte, Warnungen und Bearbeitung
3. Tag 3: Ursachenanalyse, Scores und Betriebsmodell

Zielsetzung

Nach dem Seminar können Datenbestände überwacht, geeignete Qualitätsregeln erstellt, Alerts und Eskalationen eingerichtet, Ursachen mit Lineage untersucht und Qualitätskennzahlen für Datenprodukte und Governance genutzt werden.

Zielgruppe

Data Quality Stewards, Data Engineers, Analytics Engineers, Data Owners, Plattformteams, Data Product Manager, Governance-Verantwortliche

Voraussetzungen

Grundkenntnisse von Datenstrukturen, Datenqualität und SQL sind hilfreich; Programmierkenntnisse sind nicht zwingend erforderlich

Seminarinhalte

Tag 1: Profiling, Beobachtbarkeit und Qualitätsmodell

1. Schritt 1: Qualitätsdimensionen, technische Beobachtbarkeit und fachliche Erwartungen voneinander abgrenzen.
2. Schritt 2: Datenquellen und relevante Datensätze für die Überwachung priorisieren.
3. Schritt 3: Profiling-Ergebnisse für Verteilung, Vollständigkeit, Einzigartigkeit und Auffälligkeiten interpretieren.
4. Schritt 4: Kritische Datenfelder und Qualitätsverantwortliche im Governance-Kontext verknüpfen.
5. Schritt 5: Ausgangswerte und erwartete Normalbereiche für zentrale Messgrößen bestimmen.
6. Schritt 6: Ein Qualitätsinventar für einen ausgewählten Datenbereich erstellen.

Tag 2: Regeln, Schwellenwerte, Warnungen und Bearbeitung

1. Schritt 1: Automatische Regeln prüfen und fachlich relevante Signale auswählen.
2. Schritt 2: No-Code- und benutzerdefinierte Regeln für konkrete Qualitätsanforderungen erstellen.
3. Schritt 3: Schwellenwerte, Zeitfenster und Ausführungspläne risikogerecht konfigurieren.
4. Schritt 4: Warnungen, Zuständigkeiten, Eskalationen und Bearbeitungsfristen festlegen.
5. Schritt 5: Falsch positive Meldungen analysieren und Regelparameter kontrolliert verbessern.
6. Schritt 6: Einen Qualitätsvorfall vom Signal bis zur zugewiesenen Maßnahme bearbeiten.

Tag 3: Ursachenanalyse, Scores und Betriebsmodell

1. Schritt 1: Lineage und technische Kontextinformationen zur Eingrenzung der Ursache nutzen.
2. Schritt 2: Auswirkungen auf Berichte, Datenprodukte, Modelle und nachgelagerte Prozesse bewerten.
3. Schritt 3: Qualitätsscores und Aggregationen für unterschiedliche Steuerungsebenen definieren.
4. Schritt 4: Remediation, Verifikation und formalen Abschluss eines Vorfalls organisieren.
5. Schritt 5: Trend-, Abdeckungs- und Bearbeitungskennzahlen für Reviews auswählen.
6. Schritt 6: Ein dauerhaftes Betriebsmodell mit Rollen, Routinen und Verbesserungsbacklog erstellen.

Praxisanteil

Die Teilnehmenden richten eine Überwachung ein, erstellen Regeln und Schwellenwerte, bearbeiten einen simulierten Datenqualitätsvorfall und verfolgen dessen Ursache über Lineage bis zur geprüften Korrektur.