Seminar Apache Paimon CDC, Ingestion und Datenmigration

Dieses Seminar behandelt den Aufbau robuster Ingestion-Strecken nach Apache Paimon. Im Mittelpunkt stehen Änderungsdaten, Table-Synchronisation, Migrationspfade aus Quellsystemen und die saubere Behandlung von Schemaänderungen. Das Seminar richtet sich an Teams, die aus Datenbanken, Kafka-Themen oder anderen Ereignisquellen verlässlich in Paimon schreiben und dabei keine bösen Überraschungen bei Typen, Schlüsseln oder Tabellenentwicklung erleben wollen.

Seminarziele

Nach dem Seminar ist klar, wie CDC- und Ingestion-Strecken fachlich und technisch aufgebaut werden, wann Table-Sync- oder Database-Sync-Muster sinnvoll sind und wie Tabellenmodell, Schlüsselwahl, berechnete Spalten und Partitionslogik zusammenspielen. Behandelt werden auch typische Fehlerbilder bei Schema Drift, Dubletten, Quellwechseln und Migrationsschnitten.

Zielgruppe

Geeignet für Data Engineers, Integrationsentwickler, Plattformteams und Migrationsteams, die Apache Paimon als Zielsystem für Änderungsdaten und operative Datenpipelines nutzen wollen.

Voraussetzungen

Vorausgesetzt werden sichere SQL-Grundlagen sowie ein grundlegendes Verständnis von Streaming, CDC und Apache Flink oder vergleichbaren Datenpipelines.

Schwerpunkte

• Grundlagen von CDC, Event-Formaten und Synchronisationsmustern
• Table Sync und Database Sync für operative Ingestion-Szenarien
• Einbindung typischer Quellsysteme und Ereignisströme
• Schlüssel, Partitionen, berechnete Spalten und Typabbildungen
• Schema Evolution in laufenden Pipelines
• Fehlerbehandlung, Validierung, Wiederanlauf und kontrollierte Umschaltungen
• Migrationspfade aus bestehenden Landing- und Lake-Strukturen

Praxis

Im Labor werden Ingestion-Strecken aufgebaut, Tabellen automatisch angelegt und Änderungen bis in das Lakehouse nachverfolgt. Dabei werden bewusst auch problematische Fälle wie geänderte Schemas, abweichende Typen und unvollständige Schlüsselinformationen betrachtet, weil genau dort Projekte normalerweise aus der Kurve fliegen.