Seminar Apache Iceberg Streaming, CDC und Kafka Connect

Streaming mit Iceberg verlangt mehr als nur einen laufenden Connector. Zwei Tage sind für dieses Seminar notwendig, weil CDC-Semantik, Exactly-Once-Fragen, Tabellenlayout und Betriebsfolgen gemeinsam betrachtet werden müssen. Wer nur Konfigurationsdateien kopiert, baut sich sehr schnell eine zuverlässige Fehlerquelle.

Zielsetzung

Das Seminar vermittelt, wie Ereignis- und Änderungsdaten sauber in Iceberg-Tabellen landen, wie Streaming- und Batch-Welten zusammenspielen und welche Entscheidungen für Modellierung, Partitionierung und Betrieb in eventlastigen Plattformen wirklich zählen.

Inhalte

• Streaming-Anwendungsfälle und CDC-Muster mit Apache Iceberg
• Kafka Connect Sink und typische Konfigurationsbausteine
• Exactly-Once-Überlegungen, Idempotenz und Commit-Koordination
• Flink- und Spark-Streaming-Sicht auf Iceberg
• Event-Modellierung, Partitionierungsstrategien und Dateiverhalten
• Umgang mit Spätankömmlingen, Replays und Änderungsereignissen
• Qualitätssicherung, Monitoring und Fehlerbilder in CDC-Pipelines
• Grenzen des Formats und sinnvolle Einsatzentscheidungen

Praxis

Im Seminar werden exemplarische Sink-Konfigurationen entworfen, Ereignismodelle bewertet und Betriebsfragen für Replay, Nachverarbeitung und Tabellenlayout konkret bearbeitet. So entsteht ein realistisches Bild dessen, was mit Iceberg im Streaming-Alltag robust funktioniert und was ohne klare Regeln rasch entgleist.

Zielgruppe

Geeignet ist dieses Format für Streaming- und Integrationsrollen, für Data Engineers mit CDC-Verantwortung sowie für Plattformteams, die Event-Daten in eine gemeinsame Lakehouse-Struktur einbinden wollen.