Seminar Debezium – PostgreSQL Connector – Logical Decoding, Slots und Publications

Das Seminar behandelt die zuverlässige Erfassung von PostgreSQL-Änderungen über Logical Decoding. Replication Slots, Publications, WAL-Retention, Berechtigungen, Snapshot-Start, Replica Identity, TOAST, Datentypen, Hochverfügbarkeit und Wiederanlauf werden zu einem vollständigen Betriebsmodell verbunden.

Inhaltsübersicht

• Lernziele und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Lernziele

• Logical Decoding, WAL, Slots und Publications sicher einordnen.
• Rollen, pg_hba, TLS und minimale Berechtigungen konfigurieren.
• Snapshot und Übergang an eine reproduzierbare LSN-Position steuern.
• TOAST, Replica Identity, Datentypen und Schemaänderungen korrekt behandeln.
• WAL-Retention, Failover, Slotpflege, Monitoring und Recovery beherrschen.

Schrittweise Seminarinhalte

1. Logical Decoding, WAL und LSN

Schwerpunkt: WAL, LSN, Commitreihenfolge, Logical Decoding, pgoutput, Slot, Publication und Connectorposition.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Logical Decoding, WAL und LSN“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von WAL, LSN, Commitreihenfolge, Logical Decoding, pgoutput, Slot, Publication und Connectorposition modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis ein korrektes PostgreSQL-CDC-Datenflussmodell dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

2. Rollen, pg_hba, TLS und Verbindung

Schwerpunkt: Replication Role, Select, Publication Owner, pg_hba.conf, SSL Mode, Zertifikate, DNS und Netzwerk.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Rollen, pg_hba, TLS und Verbindung“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Replication Role, Select, Publication Owner, pg_hba.conf, SSL Mode, Zertifikate, DNS und Netzwerk modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine minimal berechtigte und sichere Verbindung dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

3. Slot- und Publication-Design

Schwerpunkt: Slot Name, Publication Autocreate, Tabellenumfang, mehrere Connectoren, Slotkonflikt, Ownership und Lebenszyklus.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Slot- und Publication-Design“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Slot Name, Publication Autocreate, Tabellenumfang, mehrere Connectoren, Slotkonflikt, Ownership und Lebenszyklus modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis ein belastbares Slot- und Publication-Konzept dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

4. Snapshot und Streaming-Übergang

Schwerpunkt: Initial Snapshot, Exported Snapshot, Locking, LSN, große Tabellen, Snapshot Mode, Restart und Konsistenz.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Snapshot und Streaming-Übergang“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Initial Snapshot, Exported Snapshot, Locking, LSN, große Tabellen, Snapshot Mode, Restart und Konsistenz modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis einen getesteten Start- und Wiederanlaufprozess dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

5. Replica Identity, TOAST und Datentypen

Schwerpunkt: Primary Key, Replica Identity Full, unveränderte TOAST-Spalten, Arrays, JSONB, Numerics, Temporal Types und Extensions.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Replica Identity, TOAST und Datentypen“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Primary Key, Replica Identity Full, unveränderte TOAST-Spalten, Arrays, JSONB, Numerics, Temporal Types und Extensions modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine geprüfte Datentyp- und Update-Verarbeitungsmatrix dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

6. Schemaänderungen und Consumer-Kompatibilität

Schwerpunkt: Add, Drop, Rename, Type Change, Primary Key, Publication Update, DDL-Erkennung und Schema Registry.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Schemaänderungen und Consumer-Kompatibilität“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Add, Drop, Rename, Type Change, Primary Key, Publication Update, DDL-Erkennung und Schema Registry modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis einen kontrollierten PostgreSQL-Schemaänderungsprozess dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

7. WAL-Retention, Failover und Recovery

Schwerpunkt: Slot-Lag, retained WAL, Disk, Heartbeat, Standby, Slot Failover, Netzwerkfehler, Re-Snapshot und Datenabgleich.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „WAL-Retention, Failover und Recovery“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Slot-Lag, retained WAL, Disk, Heartbeat, Standby, Slot Failover, Netzwerkfehler, Re-Snapshot und Datenabgleich modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis ein Betriebs- und Recovery-Runbook mit Schwellenwerten dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

Praxisübungen und Laborszenarien

• Einrichtung von Rolle, Publication und Replication Slot für einen Testconnector.
• Test von Snapshot, Update ohne vollständige Replica Identity und TOAST-Feldern.
• Analyse von Slot-Lag, WAL-Wachstum und kontrolliertem Wiederanlauf.

Zielgruppe und Voraussetzungen

Zielgruppe: PostgreSQL-Administration, Data Engineering, Kafka-Connect-Betrieb, Plattformengineering und technische Architektur.

Voraussetzungen: Praktische PostgreSQL-Kenntnisse zu WAL, Rollen und Replikation sowie Debezium- und Kafka-Grundlagen.

Didaktik und Arbeitsweise

Fachimpulse werden unmittelbar durch Demonstrationen, nachvollziehbare Konfigurationsschritte, praktische Übungen und kontrollierte Fehlerfälle vertieft. Jede Übung arbeitet mit definierten Ausgangswerten, Prüfpunkten und Dokumentationsanforderungen, damit die erarbeiteten Abläufe als wiederholbarer technischer Standard eingesetzt werden können.