Seminar YugabyteDB – Change Data Capture und Streaming-Integration

Änderungsdatenströme verbinden operative Datenbanken mit Analyse-, Such- und Integrationsplattformen. Der Kurs legt den Schwerpunkt auf reproduzierbare Zustellung, kontrollierten Wiederanlauf und nachvollziehbare Datenverträge.

Inhaltsverzeichnis

• Lernziele
• Zielgruppe
• Voraussetzungen
• Schrittweise Seminarinhalte
• Praxisübungen
• Methodik

Lernziele

• CDC-Einsatzfälle und Konsistenzanforderungen sauber abgrenzen
• Streams und Konsumenten kontrolliert einrichten
• Checkpoints, Reihenfolge, Duplikate und Wiederanlauf behandeln
• Schemaänderungen und Datenverträge absichern
• Monitoring, Sicherheit und Betriebsverfahren für Datenpipelines aufbauen

Zielgruppe

Integrationsentwickler, Datenplattformteams, Softwarearchitekten, SRE, DevOps und technische Anwendungsbetreuung.

Voraussetzungen

Grundkenntnisse der YugabyteDB-Architektur, YSQL oder YCQL sowie Erfahrung mit APIs, Nachrichten- oder Streaming-Systemen. Programmierkenntnisse sind für die Konsumentenübung erforderlich.

Schrittweise Seminarinhalte

1. Schritt 1: Streaming-Anforderung präzisieren

   Quellsystem, Zielsystem, Änderungsarten, Latenz, Reihenfolge, Aufbewahrung, Wiederholbarkeit und Datenschutz werden als Datenvertrag festgelegt.

2. Schritt 2: CDC-Mechanismus auswählen

   Tabellenumfang, API, Stream- oder Slot-Modell, Transaktionsbezug und unterstützte Datentypen werden für den Anwendungsfall bewertet.

3. Schritt 3: Stream einrichten

   Quellobjekte, Berechtigungen, Startpunkt und Konfiguration werden erstellt und mit einer kontrollierten Teständerung geprüft.

4. Schritt 4: Konsumenten entwickeln

   Änderungsereignisse werden gelesen, validiert, transformiert und idempotent in ein Zielsystem geschrieben.

5. Schritt 5: Checkpoints verwalten

   Bestätigte Positionen, Wiederanlauf, Parallelität und Verhalten bei Consumer-Ausfall werden praktisch untersucht.

6. Schritt 6: Reihenfolge und Transaktionen behandeln

   Zusammengehörige Änderungen, Partitionierung, zeitliche Reihenfolge und atomare Zielverarbeitung werden anhand definierter Fälle getestet.

7. Schritt 7: Schemaänderungen absichern

   Neue Felder, Typänderungen, inkompatible Änderungen und Versionierung des Datenvertrags werden in einen Freigabeprozess eingebunden.

8. Schritt 8: Pipeline produktionsreif betreiben

   Metriken, Lag, Fehlerraten, Dead-Letter-Verfahren, Zugriffsschutz, Aufbewahrung und Runbooks werden festgelegt.

Praxisübungen

• CDC-Stream für ausgewählte Tabellen konfigurieren
• Idempotenten Beispielkonsumenten mit Checkpoint-Verarbeitung erstellen
• Consumer-Ausfall und kontrollierten Wiederanlauf testen
• Schemaänderung mit Kompatibilitätsprüfung und Monitoring bewerten

Methodik

Kurze Konzeptblöcke werden mit einer vollständigen Quell-zu-Ziel-Pipeline verbunden. Fehlerfälle werden absichtlich erzeugt, damit Zustellverhalten und Wiederanlauf messbar geprüft werden können.