Seminar Debezium – Debezium Server und Cloud-Sinks

Das Seminar behandelt Debezium Server als vorkonfigurierte Laufzeit für Datenströme von einer Quelldatenbank zu Messaging-, Cloud-, HTTP-, JDBC- oder analytischen Zielsystemen. Im Mittelpunkt stehen nachvollziehbare Konfiguration, persistente Zustände, Transformationsketten, sichere Verbindungen und ein kontrollierter Produktionsbetrieb.

Inhaltsübersicht

• Lernziele und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Lernziele

• Debezium Server gegenüber Kafka Connect und Debezium Engine sachgerecht auswählen.
• Quellconnector, Ausgabeformat und Sink vollständig konfigurieren.
• Cloud-, Messaging-, HTTP-, JDBC- und analytische Zielsysteme einordnen.
• Offsets, Schemahistorie, Transformationen und Filter dauerhaft betreiben.
• Security, Monitoring, Erweiterung und Wiederanlauf produktionsreif planen.

Schrittweise Seminarinhalte

1. Server-Architektur und Einsatzgrenzen

Schwerpunkt: Quarkus Runtime, eine Quelle, ein Sink, Deployment, Kafka-Abgrenzung, Skalierung, Latenz und Betriebsverantwortung.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Server-Architektur und Einsatzgrenzen“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Quarkus Runtime, eine Quelle, ein Sink, Deployment, Kafka-Abgrenzung, Skalierung, Latenz und Betriebsverantwortung modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine belastbare Einsatzentscheidung für Debezium Server dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

2. Installation und Konfigurationsmodell

Schwerpunkt: Distribution, application.properties, Environment, System Properties, Source Properties, Formate und Startparameter.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Installation und Konfigurationsmodell“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Distribution, application.properties, Environment, System Properties, Source Properties, Formate und Startparameter modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine reproduzierbar startende Serverinstanz mit versionierter Konfiguration dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

3. Auswahl und Konfiguration von Sink-Zielen

Schwerpunkt: Kinesis, Pub/Sub, Pulsar, Event Hubs, Redis Streams, NATS, RabbitMQ, HTTP, Kafka, JDBC, Iceberg und weitere Zielklassen.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Auswahl und Konfiguration von Sink-Zielen“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Kinesis, Pub/Sub, Pulsar, Event Hubs, Redis Streams, NATS, RabbitMQ, HTTP, Kafka, JDBC, Iceberg und weitere Zielklassen modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine Zielsystemmatrix mit passender Delivery- und Fehlerstrategie dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

4. Offset- und Schemahistorien-Speicher

Schwerpunkt: File, JDBC, Kafka, Redis, Persistenz, Backup, Wiederanlauf, konkurrierender Zugriff und Konsistenz.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Offset- und Schemahistorien-Speicher“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von File, JDBC, Kafka, Redis, Persistenz, Backup, Wiederanlauf, konkurrierender Zugriff und Konsistenz modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis ein getestetes Zustands- und Wiederanlaufkonzept dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

5. Formate, Transformationen und Filter

Schwerpunkt: JSON, Avro, Protobuf, CloudEvents, SMT, Predicates, Message Filtering, Header und Zielanforderungen.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Formate, Transformationen und Filter“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von JSON, Avro, Protobuf, CloudEvents, SMT, Predicates, Message Filtering, Header und Zielanforderungen modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine dokumentierte Ereignis- und Transformationskette dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

6. Sicherheit, Betrieb und Verfügbarkeit

Schwerpunkt: TLS, Authentisierung, Secrets, Container, Health, Metriken, OpenTelemetry, Ressourcen, Fehler und Neustart.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Sicherheit, Betrieb und Verfügbarkeit“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von TLS, Authentisierung, Secrets, Container, Health, Metriken, OpenTelemetry, Ressourcen, Fehler und Neustart modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis einen sicheren Betriebsstandard mit Monitoring und Runbooks dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

7. Eigene Sink-Erweiterung und Abnahme

Schwerpunkt: Extension API, benutzerdefinierter Sink, Konfiguration, Fehlervertrag, Lasttest, Packaging und Regressionstest.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Eigene Sink-Erweiterung und Abnahme“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Extension API, benutzerdefinierter Sink, Konfiguration, Fehlervertrag, Lasttest, Packaging und Regressionstest modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis einen geprüften Erweiterungs- und Freigabeprozess dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

Praxisübungen und Laborszenarien

• Aufbau einer Server-Pipeline von einer relationalen Quelle zu einem alternativen Sink.
• Konfiguration eines persistenten Offset- und Schemahistorien-Speichers.
• Test von Transformation, Verbindungsabbruch, Retry und geordnetem Wiederanlauf.

Zielgruppe und Voraussetzungen

Zielgruppe: Cloud- und Plattformengineering, Datenintegration, DevOps, Java- oder Quarkus-Teams und technische Architektur.

Voraussetzungen: Debezium- und Datenbankgrundlagen; Kenntnisse des gewählten Zielsystems und von TLS sind hilfreich.

Didaktik und Arbeitsweise

Fachimpulse werden unmittelbar durch Demonstrationen, nachvollziehbare Konfigurationsschritte, praktische Übungen und kontrollierte Fehlerfälle vertieft. Jede Übung arbeitet mit definierten Ausgangswerten, Prüfpunkten und Dokumentationsanforderungen, damit die erarbeiteten Abläufe als wiederholbarer technischer Standard eingesetzt werden können.