Seminar TiDB Change Data Capture mit TiCDC

TiCDC verbindet operative TiDB-Daten mit nachgelagerten Datenbanken, Messaging-Systemen und Objektspeichern. Das Seminar behandelt nicht nur die Einrichtung, sondern auch Consumer-Verträge, Schemaentwicklung, Konsistenz und Recovery.

Zwei Tage sind notwendig, um Changefeeds für unterschiedliche Sink-Typen einzurichten, DDL- und Filterverhalten zu testen und Lag- sowie Recovery-Szenarien praktisch zu bearbeiten.

Inhaltsverzeichnis

1. Lernziele und fachliche Einordnung
2. Zielgruppe und Voraussetzungen
3. Kapitel 1: TiCDC-Architektur und Changefeeds
4. Kapitel 2: Sinks, Protokolle und Ereignisformate
5. Kapitel 3: Filter, DDL und Schemaentwicklung
6. Kapitel 4: Monitoring, Konsistenz und Wiederanlauf
7. Praxisübungen und Laborszenarien
8. Didaktik und Arbeitsweise

Lernziele

• TiCDC-Komponenten und Checkpoint-Mechanik erklären.
• Changefeeds für Datenbank-, Messaging- und Storage-Sinks konfigurieren.
• Filter, DDL und Schemaentwicklung kontrollieren.
• Lag, Backpressure und Fehlerzustände diagnostizieren.
• Konsistenz und Wiederanlauf durch definierte Prüfungen nachweisen.

Zielgruppe und Voraussetzungen

Zielgruppe: Data Engineering, Datenbankadministration, Plattformbetrieb, Streaming-Teams, Integrationsarchitektur und SRE.

Voraussetzungen: TiDB-Grundlagen, SQL-Kenntnisse und Grundverständnis von Binlog-, Messaging- oder Replikationskonzepten.

Kapitel 1: TiCDC-Architektur und Changefeeds

Inhaltsverzeichnis dieses Kapitels

1. Capture beziehungsweise neue TiCDC-Komponenten
2. Datenabruf, Sortierung und Checkpoints
3. Changefeed-Lebenszyklus
4. Hochverfügbarkeit und Metadaten

Schwerpunkt: Capture beziehungsweise neue TiCDC-Komponenten, Datenabruf, Sortierung und Checkpoints, Changefeed-Lebenszyklus, Hochverfügbarkeit und Metadaten.

Schritt-für-Schritt-Anleitung

1. Schritt 1: Zielbild und Randbedingungen erfassen

   Für den Themenblock werden Einsatzfall, gewünschte Servicequalität, Daten- und Sicherheitsanforderungen sowie die Abhängigkeiten zu Capture beziehungsweise neue TiCDC-Komponenten und Datenabruf, Sortierung und Checkpoints dokumentiert. Messbare Prüfkriterien verhindern, dass Konfigurationen nur nach Einzelbeobachtungen bewertet werden.

2. Schritt 2: Komponenten und Datenflüsse modellieren

   Rollen, Konfigurationsobjekte, Datenwege, Zustandsübergänge und Fehlergrenzen werden anhand von Capture beziehungsweise neue TiCDC-Komponenten, Datenabruf, Sortierung und Checkpoints, Changefeed-Lebenszyklus, Hochverfügbarkeit und Metadaten in einem technischen Ablaufmodell festgehalten. Verantwortlichkeiten und Voraussetzungen werden jedem Schritt eindeutig zugeordnet.

3. Schritt 3: Konfiguration oder Prozessfolge umsetzen

   Das Laborszenario wird vom definierten Ausgangszustand bis zum funktionsfähigen Ergebnis umgesetzt. SQL, Befehle, Konfigurationswerte oder Manifeste werden versioniert, kommentiert und mit den erwarteten Zwischenständen abgeglichen.

4. Schritt 4: Positiv-, Negativ- und Fehlerfälle prüfen

   Funktion, Konsistenz, Berechtigungen, Performance und Fehlermeldungen werden mit Normalfällen, Grenzwerten und gezielt ausgelösten Störungen getestet. Die Prüfung bezieht insbesondere Changefeed-Lebenszyklus und Hochverfügbarkeit und Metadaten ein.

5. Schritt 5: Betriebsfähigkeit und Wiederholbarkeit herstellen

   Erforderliche Metriken, Logs, Alarmkriterien, Rückfallpunkte und Wartungsschritte werden ergänzt. Abweichungen zwischen Soll und Ist werden als konkrete Korrekturmaßnahmen dokumentiert.

6. Schritt 6: Arbeitsergebnis standardisieren

   Als verbindliches Arbeitsergebnis entsteht ein Architektur- und Betriebsmodell für mehrere Changefeeds. Das Ergebnis wird mit Abnahmekriterien, Zuständigkeiten und einem Termin für die nächste Überprüfung versehen.

Kapitel 2: Sinks, Protokolle und Ereignisformate

Inhaltsverzeichnis dieses Kapitels

1. MySQL- und TiDB-Sink
2. Kafka, Pulsar und Nachrichtenformate
3. Object-Storage-Sink
4. Partitionierung, Reihenfolge und Consumer-Anforderungen

Schwerpunkt: MySQL- und TiDB-Sink, Kafka, Pulsar und Nachrichtenformate, Object-Storage-Sink, Partitionierung, Reihenfolge und Consumer-Anforderungen.

Schritt-für-Schritt-Anleitung

1. Schritt 1: Zielbild und Randbedingungen erfassen

   Für den Themenblock werden Einsatzfall, gewünschte Servicequalität, Daten- und Sicherheitsanforderungen sowie die Abhängigkeiten zu MySQL- und TiDB-Sink und Kafka, Pulsar und Nachrichtenformate dokumentiert. Messbare Prüfkriterien verhindern, dass Konfigurationen nur nach Einzelbeobachtungen bewertet werden.

2. Schritt 2: Komponenten und Datenflüsse modellieren

   Rollen, Konfigurationsobjekte, Datenwege, Zustandsübergänge und Fehlergrenzen werden anhand von MySQL- und TiDB-Sink, Kafka, Pulsar und Nachrichtenformate, Object-Storage-Sink, Partitionierung, Reihenfolge und Consumer-Anforderungen in einem technischen Ablaufmodell festgehalten. Verantwortlichkeiten und Voraussetzungen werden jedem Schritt eindeutig zugeordnet.

3. Schritt 3: Konfiguration oder Prozessfolge umsetzen

   Das Laborszenario wird vom definierten Ausgangszustand bis zum funktionsfähigen Ergebnis umgesetzt. SQL, Befehle, Konfigurationswerte oder Manifeste werden versioniert, kommentiert und mit den erwarteten Zwischenständen abgeglichen.

4. Schritt 4: Positiv-, Negativ- und Fehlerfälle prüfen

   Funktion, Konsistenz, Berechtigungen, Performance und Fehlermeldungen werden mit Normalfällen, Grenzwerten und gezielt ausgelösten Störungen getestet. Die Prüfung bezieht insbesondere Object-Storage-Sink und Partitionierung, Reihenfolge und Consumer-Anforderungen ein.

5. Schritt 5: Betriebsfähigkeit und Wiederholbarkeit herstellen

   Erforderliche Metriken, Logs, Alarmkriterien, Rückfallpunkte und Wartungsschritte werden ergänzt. Abweichungen zwischen Soll und Ist werden als konkrete Korrekturmaßnahmen dokumentiert.

6. Schritt 6: Arbeitsergebnis standardisieren

   Als verbindliches Arbeitsergebnis entsteht eine Sink- und Formatentscheidung mit nachgelagerten Verarbeitungsregeln. Das Ergebnis wird mit Abnahmekriterien, Zuständigkeiten und einem Termin für die nächste Überprüfung versehen.

Kapitel 3: Filter, DDL und Schemaentwicklung

Inhaltsverzeichnis dieses Kapitels

1. Tabellen- und Ereignisfilter
2. DDL-Replikation und Kompatibilität
3. Spaltenausgabe, Update-Aufteilung und Protokollwahl
4. Schemaänderung, Versionierung und Consumer-Vertrag

Schwerpunkt: Tabellen- und Ereignisfilter, DDL-Replikation und Kompatibilität, Spaltenausgabe, Update-Aufteilung und Protokollwahl, Schemaänderung, Versionierung und Consumer-Vertrag.

Schritt-für-Schritt-Anleitung

1. Schritt 1: Zielbild und Randbedingungen erfassen

   Für den Themenblock werden Einsatzfall, gewünschte Servicequalität, Daten- und Sicherheitsanforderungen sowie die Abhängigkeiten zu Tabellen- und Ereignisfilter und DDL-Replikation und Kompatibilität dokumentiert. Messbare Prüfkriterien verhindern, dass Konfigurationen nur nach Einzelbeobachtungen bewertet werden.

2. Schritt 2: Komponenten und Datenflüsse modellieren

   Rollen, Konfigurationsobjekte, Datenwege, Zustandsübergänge und Fehlergrenzen werden anhand von Tabellen- und Ereignisfilter, DDL-Replikation und Kompatibilität, Spaltenausgabe, Update-Aufteilung und Protokollwahl, Schemaänderung, Versionierung und Consumer-Vertrag in einem technischen Ablaufmodell festgehalten. Verantwortlichkeiten und Voraussetzungen werden jedem Schritt eindeutig zugeordnet.

3. Schritt 3: Konfiguration oder Prozessfolge umsetzen

   Das Laborszenario wird vom definierten Ausgangszustand bis zum funktionsfähigen Ergebnis umgesetzt. SQL, Befehle, Konfigurationswerte oder Manifeste werden versioniert, kommentiert und mit den erwarteten Zwischenständen abgeglichen.

4. Schritt 4: Positiv-, Negativ- und Fehlerfälle prüfen

   Funktion, Konsistenz, Berechtigungen, Performance und Fehlermeldungen werden mit Normalfällen, Grenzwerten und gezielt ausgelösten Störungen getestet. Die Prüfung bezieht insbesondere Spaltenausgabe, Update-Aufteilung und Protokollwahl und Schemaänderung, Versionierung und Consumer-Vertrag ein.

5. Schritt 5: Betriebsfähigkeit und Wiederholbarkeit herstellen

   Erforderliche Metriken, Logs, Alarmkriterien, Rückfallpunkte und Wartungsschritte werden ergänzt. Abweichungen zwischen Soll und Ist werden als konkrete Korrekturmaßnahmen dokumentiert.

6. Schritt 6: Arbeitsergebnis standardisieren

   Als verbindliches Arbeitsergebnis entsteht eine versionierte Changefeed-Konfiguration mit Schema-Evolution-Regeln. Das Ergebnis wird mit Abnahmekriterien, Zuständigkeiten und einem Termin für die nächste Überprüfung versehen.

Kapitel 4: Monitoring, Konsistenz und Wiederanlauf

Inhaltsverzeichnis dieses Kapitels

1. Checkpoint und Replication Lag
2. Backpressure, Fehler und Neustart
3. Redo Log, Syncpoint und Konsistenzprüfung
4. Skalierung, Wartung und Alarmierung

Schwerpunkt: Checkpoint und Replication Lag, Backpressure, Fehler und Neustart, Redo Log, Syncpoint und Konsistenzprüfung, Skalierung, Wartung und Alarmierung.

Schritt-für-Schritt-Anleitung

1. Schritt 1: Zielbild und Randbedingungen erfassen

   Für den Themenblock werden Einsatzfall, gewünschte Servicequalität, Daten- und Sicherheitsanforderungen sowie die Abhängigkeiten zu Checkpoint und Replication Lag und Backpressure, Fehler und Neustart dokumentiert. Messbare Prüfkriterien verhindern, dass Konfigurationen nur nach Einzelbeobachtungen bewertet werden.

2. Schritt 2: Komponenten und Datenflüsse modellieren

   Rollen, Konfigurationsobjekte, Datenwege, Zustandsübergänge und Fehlergrenzen werden anhand von Checkpoint und Replication Lag, Backpressure, Fehler und Neustart, Redo Log, Syncpoint und Konsistenzprüfung, Skalierung, Wartung und Alarmierung in einem technischen Ablaufmodell festgehalten. Verantwortlichkeiten und Voraussetzungen werden jedem Schritt eindeutig zugeordnet.

3. Schritt 3: Konfiguration oder Prozessfolge umsetzen

   Das Laborszenario wird vom definierten Ausgangszustand bis zum funktionsfähigen Ergebnis umgesetzt. SQL, Befehle, Konfigurationswerte oder Manifeste werden versioniert, kommentiert und mit den erwarteten Zwischenständen abgeglichen.

4. Schritt 4: Positiv-, Negativ- und Fehlerfälle prüfen

   Funktion, Konsistenz, Berechtigungen, Performance und Fehlermeldungen werden mit Normalfällen, Grenzwerten und gezielt ausgelösten Störungen getestet. Die Prüfung bezieht insbesondere Redo Log, Syncpoint und Konsistenzprüfung und Skalierung, Wartung und Alarmierung ein.

5. Schritt 5: Betriebsfähigkeit und Wiederholbarkeit herstellen

   Erforderliche Metriken, Logs, Alarmkriterien, Rückfallpunkte und Wartungsschritte werden ergänzt. Abweichungen zwischen Soll und Ist werden als konkrete Korrekturmaßnahmen dokumentiert.

6. Schritt 6: Arbeitsergebnis standardisieren

   Als verbindliches Arbeitsergebnis entsteht ein TiCDC-Runbook für Betrieb, Recovery und Konsistenznachweis. Das Ergebnis wird mit Abnahmekriterien, Zuständigkeiten und einem Termin für die nächste Überprüfung versehen.

Praxisübungen und Laborszenarien

• Einen Changefeed für einen Datenbank-Sink erstellen und prüfen.
• Einen Kafka- oder Storage-Sink mit geeignetem Format konfigurieren.
• Filter- und DDL-Verhalten mit Schemaänderungen testen.
• Replication Lag, Pause, Resume und Recovery in einem Störungsszenario bearbeiten.

Didaktik und Arbeitsweise

Kurze Fachimpulse werden unmittelbar durch Demonstrationen, strukturierte Konfigurations- oder SQL-Schritte, kontrollierte Fehlerfälle und dokumentierte Prüfpunkte vertieft. Jede Übung beginnt mit einem definierten Ausgangszustand und endet mit messbaren Abnahmekriterien, damit die erarbeiteten Vorgehensweisen als wiederholbare Standards nutzbar bleiben.