Seminar Debezium Intensivseminar – Connector Engineering für Datenbanken

Das fünftägige Intensivseminar bündelt die datenbankspezifischen Inhalte des Portfolios zu einem vergleichbaren Connector-Engineering-Ansatz. Erfassungsmechanismen, Berechtigungen, Snapshots, Logpositionen, Datentypen, Schemaänderungen, Failover, Monitoring und Recovery werden für relationale, dokumentenorientierte und spezialisierte Plattformen gemeinsam erarbeitet.

Inhaltsübersicht

• Lernziele und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Lernziele

• Connectoren anhand von Erfassungsmechanismus, Semantik und Betriebsrisiko vergleichen.
• PostgreSQL, MySQL, MariaDB, SQL Server, Oracle und MongoDB produktionsnah konfigurieren.
• Spezialconnectoren nach Reifegrad und Pilotfähigkeit bewerten.
• Snapshots, Datentypen, Schemaänderungen und Failover plattformübergreifend beherrschen.
• Ein einheitliches Connector-Abnahme- und Betriebshandbuch erstellen.

Schrittweise Seminarinhalte

1. Connector-neutrales CDC- und Vergleichsmodell

Schwerpunkt: Transaktionslog, Change Table, Change Stream, Commitposition, Snapshot, Event Key, Delivery, Logfenster und Betriebsgrenze.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Connector-neutrales CDC- und Vergleichsmodell“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Transaktionslog, Change Table, Change Stream, Commitposition, Snapshot, Event Key, Delivery, Logfenster und Betriebsgrenze modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine einheitliche Bewertungs- und Dokumentationsstruktur dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

2. MySQL und MariaDB Engineering

Schwerpunkt: Binlog, GTID, Server ID, Snapshot, Schema History, DDL, Failover und Retention.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „MySQL und MariaDB Engineering“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Binlog, GTID, Server ID, Snapshot, Schema History, DDL, Failover und Retention modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine getestete MySQL- oder MariaDB-Pipeline dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

3. PostgreSQL Engineering

Schwerpunkt: Logical Decoding, pgoutput, Slot, Publication, LSN, TOAST, Replica Identity und WAL-Retention.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „PostgreSQL Engineering“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Logical Decoding, pgoutput, Slot, Publication, LSN, TOAST, Replica Identity und WAL-Retention modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine getestete PostgreSQL-Pipeline dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

4. SQL Server Engineering

Schwerpunkt: CDC, Capture Instance, LSN, Agent Jobs, Schemaänderung, Always On und Cleanup.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „SQL Server Engineering“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von CDC, Capture Instance, LSN, Agent Jobs, Schemaänderung, Always On und Cleanup modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine getestete SQL-Server-Pipeline dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

5. Oracle Engineering

Schwerpunkt: Supplemental Logging, SCN, LogMiner, XStream, OpenLogReplicator, CDB/PDB, RAC und Recovery.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Oracle Engineering“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Supplemental Logging, SCN, LogMiner, XStream, OpenLogReplicator, CDB/PDB, RAC und Recovery modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine belastbare Oracle-Adapter- und Betriebskonfiguration dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

6. MongoDB Engineering

Schwerpunkt: Replica Set, Sharding, Change Streams, Resume Token, Dokumentereignis, Election und Oplog-Fenster.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „MongoDB Engineering“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Replica Set, Sharding, Change Streams, Resume Token, Dokumentereignis, Election und Oplog-Fenster modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine getestete MongoDB-Pipeline dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

7. Spezialconnectoren und Reifegrad

Schwerpunkt: Db2, Cassandra, Vitess, Spanner, Informix, CockroachDB, Capture-Mechanismus, Einschränkung und Pilot.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Spezialconnectoren und Reifegrad“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Db2, Cassandra, Vitess, Spanner, Informix, CockroachDB, Capture-Mechanismus, Einschränkung und Pilot modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine transparente Auswahl- und Pilotmatrix dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

8. Snapshot, Offset und Startposition im Vergleich

Schwerpunkt: Locking, SCN, LSN, WAL, Binlog, Resume Token, Incremental Snapshot, Store und Restart.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Snapshot, Offset und Startposition im Vergleich“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Locking, SCN, LSN, WAL, Binlog, Resume Token, Incremental Snapshot, Store und Restart modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis einen plattformübergreifenden Start- und Wiederanlaufstandard dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

9. Datentypen, Schlüssel und Schema Evolution

Schwerpunkt: Numerics, Temporal Types, JSON, LOB, TOAST, Arrays, Documents, Primary Key, DDL und Consumervertrag.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Datentypen, Schlüssel und Schema Evolution“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Numerics, Temporal Types, JSON, LOB, TOAST, Arrays, Documents, Primary Key, DDL und Consumervertrag modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine gemeinsame Datentyp- und Kompatibilitätsmatrix dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

10. Hochverfügbarkeit und Failover

Schwerpunkt: GTID, Slot Failover, Always On, RAC, Elections, Shards, Reconnect, Logzugriff und Split Brain.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Hochverfügbarkeit und Failover“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von GTID, Slot Failover, Always On, RAC, Elections, Shards, Reconnect, Logzugriff und Split Brain modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis einen vergleichbaren HA- und Failovertest dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

11. Monitoring, Tuning und Recovery

Schwerpunkt: Lag, Logretention, Queue, Batch, Capture Jobs, Mining, Oplog, Metriken, fehlende Position und Re-Snapshot.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Monitoring, Tuning und Recovery“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Lag, Logretention, Queue, Batch, Capture Jobs, Mining, Oplog, Metriken, fehlende Position und Re-Snapshot modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis einen einheitlichen Diagnose- und Recoverykatalog dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

12. Connector-Factory und Betriebsabnahme

Schwerpunkt: Konfigurationsstandard, Secrets, Testdaten, Negativtest, Datenabgleich, Runbook, Review und Freigabe.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Connector-Factory und Betriebsabnahme“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Konfigurationsstandard, Secrets, Testdaten, Negativtest, Datenabgleich, Runbook, Review und Freigabe modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis ein wiederverwendbares Connector-Engineering-Handbuch dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

Praxisübungen und Laborszenarien

• Aufbau und Vergleich mehrerer Datenbankconnectoren mit identischem fachlichem Datenmodell.
• Durchführung von Snapshot-, DDL-, Failover- und Recovery-Szenarien.
• Erstellung einer plattformübergreifenden Connector- und Datentypmatrix.
• Ausarbeitung eines standardisierten Produktionsabnahme- und Betriebshandbuchs.

Zielgruppe und Voraussetzungen

Zielgruppe: Senior-Datenbankadministration, Data Engineering, Kafka-Connect-Plattformteams, Integrationsarchitektur und technische Projektleitung.

Voraussetzungen: Sehr gute Datenbank- und Kafka-Connect-Kenntnisse; praktische Erfahrung mit mindestens zwei der behandelten Plattformen.

Didaktik und Arbeitsweise

Fachimpulse werden unmittelbar durch Demonstrationen, nachvollziehbare Konfigurationsschritte, praktische Übungen und kontrollierte Fehlerfälle vertieft. Jede Übung arbeitet mit definierten Ausgangswerten, Prüfpunkten und Dokumentationsanforderungen, damit die erarbeiteten Abläufe als wiederholbarer technischer Standard eingesetzt werden können.