Seminar Aiven for Apache Flink – Stream Processing mit SQL

Das Seminar führt von der Tabellenmodellierung bis zur laufenden Streaming-Anwendung. SQL-Kenntnisse werden gezielt auf Ereigniszeit, Zustände und kontinuierliche Ergebnisse übertragen.

Inhaltsverzeichnis

1. Einordnung und Nutzen
2. Zielgruppe
3. Voraussetzungen
4. Lernziele
5. Seminarinhalte
6. Tag 1: Anwendungen, Tabellen und interaktive SQL-Entwicklung
7. Tag 2: Zustandsbehaftete Verarbeitung und Betrieb
8. Praxisübungen
9. Rahmenbedingungen

Einordnung und Nutzen

Behandelt werden Servicezugang, Kafka-Integration, Flink-Anwendungen, Quell- und Senkentabellen, interaktive Abfragen, Flink SQL, Fenster, Joins, Upsert-Verarbeitung, Deployment und Fehlerdiagnose. Jede Abfrage wird nicht nur syntaktisch, sondern auch hinsichtlich Semantik, Zustand und Betriebsverhalten geprüft.

Zielgruppe

• Software- und Datenentwicklung
• DevOps- und Plattform-Engineering
• Technische Architektur
• Data Engineering und Streaming-Entwicklung
• SQL-Entwicklung mit Echtzeitanforderungen

Voraussetzungen

• Grundkenntnisse zu Cloud-Diensten, Netzwerken und Datenbanken
• Sicherer Umgang mit Browser und Kommandozeile
• Für Übungen ein freigegebenes Aiven-Projekt oder eine vorbereitete Schulungsumgebung
• Sichere SQL-Grundkenntnisse
• Grundverständnis für Kafka und ereignisbasierte Verarbeitung

Lernziele

• Flink-Anwendungen und Datenintegrationen in Aiven aufbauen
• Streaming-Tabellen, Schlüssel und Zeitattribute korrekt modellieren
• Filter, Joins, Fenster und Aggregationen mit Flink SQL entwickeln
• Upsert- und Änderungsströme fachlich richtig einsetzen
• Anwendungen bereitstellen, überwachen und systematisch entstören

Seminarinhalte

Jeder Arbeitsschritt wird praktisch umgesetzt, mit einem kurzen Funktionstest geprüft und als wiederholbarer Betriebsablauf dokumentiert.

Tag 1: Anwendungen, Tabellen und interaktive SQL-Entwicklung

Der erste Tag überführt Kafka-Daten in ein prüfbares relationales Streaming-Modell.

1. Schritt 1: Flink-Service und Datenintegration vorbereiten. Praktisches Arbeitsergebnis: verfügbare Zugriffswege geprüft, ein Flink-Service beziehungsweise eine Schulungsumgebung geöffnet und Kafka als Quelle und Senke verbunden.
2. Schritt 2: Anwendung und Tabellenstruktur anlegen. Praktisches Arbeitsergebnis: eine Anwendung erstellt, Quell- und Senkentabellen mit Datentypen, Schlüsseln und Connectoroptionen modelliert.
3. Schritt 3: Daten interaktiv untersuchen. Praktisches Arbeitsergebnis: Tabelleninhalte mit interaktiven Abfragen geprüft, Datenfehler erkannt und Annahmen über Formate sowie Wertebereiche verifiziert.
4. Schritt 4: Transformationen schrittweise entwickeln. Praktisches Arbeitsergebnis: Projektionen, Filter, CASE-Ausdrücke, Typumwandlungen und berechnete Spalten einzeln getestet und anschließend kombiniert.
5. Schritt 5: Ereigniszeit und Wasserzeichen festlegen. Praktisches Arbeitsergebnis: Zeitstempel extrahiert, Event-Time-Semantik definiert und die Auswirkung verspäteter Ereignisse anhand kontrollierter Testdaten beobachtet.

Tag 2: Zustandsbehaftete Verarbeitung und Betrieb

Der zweite Tag behandelt die Operationen, bei denen Streaming-Semantik und Zustand entscheidend werden.

1. Schritt 1: Fenster und kontinuierliche Aggregationen erstellen. Praktisches Arbeitsergebnis: Tumbling- und Hopping-Window-Abfragen aufgebaut, Gruppierungen geprüft und Ergebnisfortschreibung nachvollzogen.
2. Schritt 2: Streams und Referenzdaten verbinden. Praktisches Arbeitsergebnis: zeitbezogene beziehungsweise schlüsselbasierte Joins entworfen und Verhalten bei fehlenden, mehrfachen oder verspäteten Datensätzen getestet.
3. Schritt 3: Upsert- und Changelog-Verarbeitung einsetzen. Praktisches Arbeitsergebnis: Primärschlüssel, Aktualisierungen und Löschereignisse modelliert und eine geeignete Upsert-Kafka-Senke konfiguriert.
4. Schritt 4: Anwendung bereitstellen und überwachen. Praktisches Arbeitsergebnis: Validierung, Deploymentparameter und Laufstatus geprüft sowie Metriken und Logs für Durchsatz, Verzögerung und Fehler ausgewertet.
5. Schritt 5: Fehler diagnostizieren und Änderung ausrollen. Praktisches Arbeitsergebnis: Schemafehler, inkompatible Datentypen und fehlerhafte SQL-Logik isoliert, korrigiert und mit einer kontrollierten Neuveröffentlichung abgeschlossen.

Praxisübungen

• Entwicklung einer Echtzeitaggregation mit Ereigniszeit und Wasserzeichen
• Anreicherung eines Ereignisstroms mit Referenzdaten
• Aufbau eines Upsert-Stroms für aktuelle Objektzustände
• Diagnose einer absichtlich fehlerhaften Tabelle und eines fehlgeschlagenen Deployments

Rahmenbedingungen

Die Erstellung neuer Aiven-for-Apache-Flink-Services kann zugangsbeschränkt sein. Für offene Seminare wird deshalb eine vorbereitete Schulungsumgebung verwendet; bei Firmenseminaren wird der verfügbare Mandantenzugang vorab geprüft.