Seminar Airbyte – Datenqualität, Schemaänderungen und Typisierung

Schemaerkennung, Feldselektion, Typisierung, Deduplizierung, abgelehnte Datensätze und kontrollierte Schemaänderungen werden zu einem belastbaren Qualitätsverfahren verbunden.

Die Schulung verbindet fachliche Einordnung, nachvollziehbare Konfiguration, systematische Prüfung und praktische Übungen an einer durchgängigen Arbeitsumgebung.

Inhaltsübersicht

• Zielsetzung
• Zielgruppe
• Voraussetzungen
• Seminarinhalte
• Praxisübungen
• Methodik

Zielsetzung

• Datenverträge und messbare Qualitätskriterien für Streams definieren
• Schemaerkennung und Katalogaktualisierung kontrolliert durchführen
• Typisierung und Deduplizierung anhand von Schlüsseln und Cursor-Feldern planen
• Kompatible und inkompatible Schemaänderungen früh erkennen
• Abgelehnte Datensätze, Datenabweichungen und Nachladung nachvollziehbar behandeln

Zielgruppe

Data Engineers, Analytics Engineers, Data Quality Manager, Datenarchitekten, Plattformbetrieb und technische Data Stewards.

Voraussetzungen

Airbyte-Grundlagen, Erfahrung mit Datenpipelines und grundlegendes Verständnis von Schemas, Datentypen, Primärschlüsseln und Qualitätsprüfungen.

Seminarinhalte

Modul 1: Qualitätsziele und Datenverträge

Qualität wird in prüfbare Regeln für Struktur, Inhalt, Aktualität und Eindeutigkeit übersetzt.

1. Schritt 1: Kritische Streams, Felder und fachliche Verwendungszwecke erfassen
2. Schritt 2: Pflichtfelder, Schlüssel, Wertebereiche und Aktualitätsziele definieren
3. Schritt 3: Toleranzen für Nullwerte, Duplikate und verspätete Daten festlegen
4. Schritt 4: Eigentümer, Prüfintervall und Reaktion auf Regelverletzungen benennen

Modul 2: Discovery, Katalog und Schemafreigabe

Erkannte Quellstrukturen werden vor ihrer Übernahme fachlich und technisch geprüft.

1. Schritt 1: Aktuellen Quellkatalog ermitteln und mit der freigegebenen Fassung vergleichen
2. Schritt 2: Neue, entfernte und geänderte Felder klassifizieren
3. Schritt 3: Auswahl, Primärschlüssel und Cursor auf Konsistenz prüfen
4. Schritt 4: Katalogänderung mit Test, Freigabe und dokumentierter Wirkung übernehmen

Modul 3: Typisierung und Zieltabellen

Rohdaten und nutzbare Zielstrukturen werden getrennt betrachtet und auf Datentypfehler geprüft.

1. Schritt 1: Quelltypen den erwarteten Zieltypen gegenüberstellen
2. Schritt 2: Konvertierungsregeln für Datum, Zahl, Boolean und komplexe Werte prüfen
3. Schritt 3: Roh- und typisierte Bereiche sowie deren Verantwortlichkeiten abgrenzen
4. Schritt 4: Grenzwerte und fehlerhafte Repräsentationen mit Testdatensätzen validieren

Modul 4: Deduplizierung und Schlüsselqualität

Eindeutigkeit entsteht nur durch belastbare Schlüssel- und Aktualitätsregeln.

1. Schritt 1: Primärschlüssel auf Nullwerte, Änderung und Mehrdeutigkeit untersuchen
2. Schritt 2: Cursor oder Aktualitätsfeld für die Auswahl des gültigen Datensatzes prüfen
3. Schritt 3: Gleichstände, verspätete Änderungen und Wiederholungen simulieren
4. Schritt 4: Deduplizierungsergebnis mit Quellstichproben und Erwartungswerten vergleichen

Modul 5: Schemaänderungen und Konfliktbehandlung

Änderungen werden nach ihrer Wirkung auf Übertragung, Typisierung und nachgelagerte Nutzung bewertet.

1. Schritt 1: Hinzufügen, Entfernen, Umbenennen und Typwechsel getrennt testen
2. Schritt 2: Automatische und manuelle Reaktionen je Änderungsklasse festlegen
3. Schritt 3: Abhängige Modelle, Berichte und Aktivierungen in die Prüfung einbeziehen
4. Schritt 4: Rücknahme oder kontrollierte Migration für inkompatible Änderungen planen

Modul 6: Abgelehnte Datensätze und Qualitätsbetrieb

Fehlerhafte Datensätze werden sichtbar, klassifiziert und ohne unkontrollierte Gesamtwiederholung korrigiert.

1. Schritt 1: Ablehnungsgründe aus Protokollen und Zielstrukturen ermitteln
2. Schritt 2: Betroffene Schlüssel und Datensätze sicher eingrenzen
3. Schritt 3: Korrektur, Ausschluss oder gezielte Nachladung entscheiden
4. Schritt 4: Qualitätskennzahlen, Trend und Wirksamkeit der Maßnahme nachhalten

Praxisübungen

1. Erstellung eines Datenvertrags mit Struktur-, Inhalts-, Aktualitäts- und Eindeutigkeitsregeln
2. Vergleich zweier Katalogstände mit Klassifikation und Freigabe der Schemaänderungen
3. Test von Typkonvertierung und Deduplizierung mit fehlerhaften sowie verspäteten Datensätzen
4. Bearbeitung abgelehnter Datensätze einschließlich Korrektur, Nachladung und Nachkontrolle

Methodik

Kurze fachliche Einführungen wechseln mit Demonstrationen, geführten Konfigurationsschritten, eigenständigen Übungen, Fehleranalysen und dokumentierten Abnahmekontrollen. Ergebnisse werden anhand technischer Prüfpunkte und fachlicher Stichproben bewertet.