Seminar Debezium – SQL Server Connector – CDC, LSN und Betriebsverfahren

Das Seminar behandelt die zuverlässige CDC-Erfassung aus SQL Server. Datenbank- und Tabellen-CDC, Capture Instances, SQL Server Agent Jobs, LSN-Positionen, Snapshot, Schemaänderungen, Always On, Azure-Betriebsmodelle und Wiederanlauf werden zu einem kontrollierten Produktionsverfahren verbunden.

Inhaltsübersicht

• Lernziele und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Lernziele

• SQL Server CDC und Change Tables für Debezium korrekt vorbereiten.
• Dienstkonto, Rollen, TLS und Connector-Konfiguration sicher umsetzen.
• Snapshot, LSN-Position und Streaming-Fortschritt nachvollziehen.
• Capture-Instance-Wechsel und Schemaänderungen kontrolliert durchführen.
• Always On, Capture-Job-Tuning, Retention, Monitoring und Recovery beherrschen.

Schrittweise Seminarinhalte

1. SQL Server CDC, Capture und Cleanup

Schwerpunkt: Transaction Log, CDC Database, Capture Job, Cleanup Job, Change Table, Capture Instance, LSN und Retention.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „SQL Server CDC, Capture und Cleanup“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Transaction Log, CDC Database, Capture Job, Cleanup Job, Change Table, Capture Instance, LSN und Retention modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis ein vollständiges SQL-Server-CDC-Betriebsmodell dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

2. CDC-Aktivierung und Berechtigungen

Schwerpunkt: Database Enable, Table Enable, Role Name, SQL Server Agent, Dienstkonto, Select, TLS, DNS und Netzwerk.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „CDC-Aktivierung und Berechtigungen“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Database Enable, Table Enable, Role Name, SQL Server Agent, Dienstkonto, Select, TLS, DNS und Netzwerk modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine minimal berechtigte und geprüfte Quellanbindung dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

3. Connector-Konfiguration und Snapshot

Schwerpunkt: Database Names, Table Include, Snapshot Mode, Isolation, Locking, Schemahistorie, Topic Prefix und Start.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Connector-Konfiguration und Snapshot“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Database Names, Table Include, Snapshot Mode, Isolation, Locking, Schemahistorie, Topic Prefix und Start modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine funktionsfähige Pipeline mit dokumentiertem Initialzustand dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

4. LSN, Change Tables und Wiederanlauf

Schwerpunkt: Commit LSN, Change LSN, Offset, Polling, Cleanup-Fenster, Neustart, Duplikate und Datenlücke.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „LSN, Change Tables und Wiederanlauf“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Commit LSN, Change LSN, Offset, Polling, Cleanup-Fenster, Neustart, Duplikate und Datenlücke modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis einen kontrollierten Fortschritts- und Recovery-Prozess dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

5. Schemaänderungen und Capture-Instance-Wechsel

Schwerpunkt: Add Column, Drop Column, Type Change, Primary Key, neue Capture Instance, Übergangsfenster und Consumervertrag.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Schemaänderungen und Capture-Instance-Wechsel“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Add Column, Drop Column, Type Change, Primary Key, neue Capture Instance, Übergangsfenster und Consumervertrag modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis einen getesteten SQL-Server-Schemaänderungsprozess dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

6. Always On, Azure und Hochverfügbarkeit

Schwerpunkt: Availability Group, Listener, Failover, Agent Jobs, CDC-Replikation, Azure SQL Varianten, Netzwerk und Wiederverbindung.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Always On, Azure und Hochverfügbarkeit“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Availability Group, Listener, Failover, Agent Jobs, CDC-Replikation, Azure SQL Varianten, Netzwerk und Wiederverbindung modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis einen belastbaren Hochverfügbarkeits- und Failoverplan dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

7. Capture-Job-Tuning, Monitoring und Recovery

Schwerpunkt: Max Trans, Max Scans, Polling Interval, Log Growth, Cleanup, Lag, Metriken, fehlende Change Rows und Re-Snapshot.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Capture-Job-Tuning, Monitoring und Recovery“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Max Trans, Max Scans, Polling Interval, Log Growth, Cleanup, Lag, Metriken, fehlende Change Rows und Re-Snapshot modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis ein Betriebs- und Diagnose-Runbook mit Schwellenwerten dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

Praxisübungen und Laborszenarien

• Aktivierung von CDC auf Datenbank und ausgewählten Tabellen.
• Start eines Connectors mit Snapshot und Kontrolle der LSN-Positionen.
• Test von Schemaänderung, Cleanup-Fenster und kontrolliertem Wiederanlauf.

Zielgruppe und Voraussetzungen

Zielgruppe: SQL-Server-Administration, Kafka-Connect-Betrieb, Data Engineering, Plattformbetrieb und technische Architektur.

Voraussetzungen: Praktische SQL-Server-Kenntnisse zu Agent, CDC, Berechtigungen und Always On sowie Debezium- und Kafka-Grundlagen.

Didaktik und Arbeitsweise

Fachimpulse werden unmittelbar durch Demonstrationen, nachvollziehbare Konfigurationsschritte, praktische Übungen und kontrollierte Fehlerfälle vertieft. Jede Übung arbeitet mit definierten Ausgangswerten, Prüfpunkten und Dokumentationsanforderungen, damit die erarbeiteten Abläufe als wiederholbarer technischer Standard eingesetzt werden können.