Seminar Debezium – MongoDB Connector – Change Streams und Sharding

Das Seminar behandelt die zuverlässige Erfassung von Dokumentänderungen aus MongoDB-Replica-Sets und Sharded Clustern. Change Streams, Snapshots, Resume Tokens, Topologieänderungen, Dokumentformate, Berechtigungen und Betriebsverfahren werden zu einer vollständigen CDC-Pipeline verbunden.

Inhaltsübersicht

• Lernziele und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Lernziele

• Replica Sets und Sharded Cluster für den Connectorbetrieb korrekt einordnen.
• Verbindung, Berechtigungen, TLS und Capture Scope sicher konfigurieren.
• Snapshots, Change Streams und Resume Tokens nachvollziehen.
• Dokumentänderungen, Schlüssel und Schemaflexibilität kontrolliert verarbeiten.
• Elections, Shard-Änderungen, Retention und Wiederanlauf sicher beherrschen.

Schrittweise Seminarinhalte

1. MongoDB-Topologie und Change-Stream-Modell

Schwerpunkt: Replica Set, Primary, Secondary, Sharded Cluster, Mongos, Oplog, Change Streams, Election und Shard-Verteilung.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „MongoDB-Topologie und Change-Stream-Modell“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Replica Set, Primary, Secondary, Sharded Cluster, Mongos, Oplog, Change Streams, Election und Shard-Verteilung modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis ein korrektes Topologie- und Datenflussmodell dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

2. Verbindung, Berechtigungen und TLS

Schwerpunkt: Connection String, Replica Set Name, Authentisierung, Rollen, TLS, Zertifikate, DNS und Netzwerkpfade.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Verbindung, Berechtigungen und TLS“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Connection String, Replica Set Name, Authentisierung, Rollen, TLS, Zertifikate, DNS und Netzwerkpfade modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine minimal berechtigte und getestete Connectorverbindung dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

3. Snapshot und Streaming-Start

Schwerpunkt: Initial Snapshot, Collections, Filter, konsistenter Start, Resume Token, Offset Store und Übergang in Streaming.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Snapshot und Streaming-Start“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Initial Snapshot, Collections, Filter, konsistenter Start, Resume Token, Offset Store und Übergang in Streaming modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis einen dokumentierten Start- und Wiederanlaufpunkt dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

4. Dokumentereignisse und Datenabbildung

Schwerpunkt: Document Key, before und after, Patch oder vollständiges Dokument, BSON-Typen, Arrays, verschachtelte Strukturen und Tombstones.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Dokumentereignisse und Datenabbildung“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Document Key, before und after, Patch oder vollständiges Dokument, BSON-Typen, Arrays, verschachtelte Strukturen und Tombstones modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis einen stabilen Consumer-Vertrag für Dokumentänderungen dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

5. Sharding, Elections und Topologieänderungen

Schwerpunkt: Shard Discovery, Hinzufügen oder Entfernen, Chunk Migration, Primary Election, Verbindungsunterbrechung und Wiederaufnahme.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Sharding, Elections und Topologieänderungen“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Shard Discovery, Hinzufügen oder Entfernen, Chunk Migration, Primary Election, Verbindungsunterbrechung und Wiederaufnahme modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis einen getesteten Hochverfügbarkeits- und Topologieprozess dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

6. Capture Scope, Transformation und Schemaflexibilität

Schwerpunkt: Datenbanken, Collections, Feldfilter, Unwrap, Routing, optionale Felder, neue Strukturen und Consumer-Kompatibilität.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Capture Scope, Transformation und Schemaflexibilität“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Datenbanken, Collections, Feldfilter, Unwrap, Routing, optionale Felder, neue Strukturen und Consumer-Kompatibilität modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine kontrollierte Ereignis- und Transformationsstrategie dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

7. Monitoring, Retention und Recovery

Schwerpunkt: Oplog-Fenster, Change-Stream-Lag, Snapshot-Metriken, Fehlercodes, Resume Token, Re-Snapshot und Datenabgleich.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Monitoring, Retention und Recovery“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Oplog-Fenster, Change-Stream-Lag, Snapshot-Metriken, Fehlercodes, Resume Token, Re-Snapshot und Datenabgleich modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis ein belastbares Betriebs- und Recovery-Runbook dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

Praxisübungen und Laborszenarien

• Konfiguration eines Connectors für ein Replica Set mit TLS und Collection-Filtern.
• Analyse von Insert-, Update-, Delete- und Dokumentersetzungsereignissen.
• Simulation von Election, Verbindungsabbruch und Wiederaufnahme per Resume Token.

Zielgruppe und Voraussetzungen

Zielgruppe: MongoDB-Administration, Data Engineering, Kafka-Connect-Betrieb, Anwendungsentwicklung und Plattformengineering.

Voraussetzungen: Praktische MongoDB-Grundkenntnisse zu Replica Sets oder Sharding sowie Debezium- und Kafka-Grundlagen.

Didaktik und Arbeitsweise

Fachimpulse werden unmittelbar durch Demonstrationen, nachvollziehbare Konfigurationsschritte, praktische Übungen und kontrollierte Fehlerfälle vertieft. Jede Übung arbeitet mit definierten Ausgangswerten, Prüfpunkten und Dokumentationsanforderungen, damit die erarbeiteten Abläufe als wiederholbarer technischer Standard eingesetzt werden können.