Seminar RisingWave – Datenmodellierung, Zeitfenster und Watermarks

Streaming-Modelle unterscheiden sich von klassischen Batch-Abfragen vor allem durch Zeit, Unvollständigkeit und dauerhaft anwachsenden Zustand. Die Schulung entwickelt fachliche Ereignisse zu stabilen Modellen mit klaren Schlüsseln, Fenstern, Watermarks und Regeln für verspätete Daten.

Inhaltsverzeichnis

• Zielsetzung
• Zielgruppe
• Voraussetzungen
• Seminarinhalte
• Praxisübungen
• Methodik

Zielsetzung

• Ereigniszeit, Verarbeitungszeit und fachliche Gültigkeit sauber trennen
• Tumbling-, Hopping- und Session-Fenster passend zum Anwendungsfall einsetzen
• Watermarks und verspätete Daten mit nachvollziehbaren Regeln behandeln
• Zustandsgröße, Aufbewahrung und Ergebnisänderungen bereits im Modell berücksichtigen

Zielgruppe

Data Engineers, Analytics Engineers, Data Architects, BI-Entwicklung und technische Fachkonzeption.

Voraussetzungen

Gute SQL-Kenntnisse, insbesondere Aggregationen und Joins. Grundverständnis ereignisorientierter Systeme ist hilfreich.

Seminarinhalte

1. Schritt 1: Fachliches Ereignismodell erstellen

   Ereignistyp, Schlüssel, Entstehungszeit, Wirksamkeitszeit, Korrekturereignisse und erwartete Reihenfolge werden fachlich dokumentiert.

2. Schritt 2: Zeitbegriffe unterscheiden

   Ereigniszeit, Aufnahmezeit, Verarbeitungszeit und Systemzeit werden in SQL-Modellen getrennt geführt und für unterschiedliche Kontrollen genutzt.

3. Schritt 3: Tumbling Windows einsetzen

   Nicht überlappende Zeitabschnitte werden für periodische Kennzahlen mit eindeutiger Zuordnung und kontrollierter Abschlusslogik aufgebaut.

4. Schritt 4: Hopping Windows modellieren

   Überlappende Fenster erzeugen gleitende Kennzahlen; Fensterbreite, Schrittweite und zusätzliche Zustandslast werden gegeneinander abgewogen.

5. Schritt 5: Session Windows verwenden

   Aktivitätsphasen werden anhand von Inaktivitätsgrenzen gebildet; Schlüsselwahl und verspätete Ereignisse werden besonders berücksichtigt.

6. Schritt 6: Watermarks definieren

   Erwartete Verspätung, Quellenverhalten und fachliche Toleranz werden in eine Watermark-Regel übersetzt und mit Testdaten überprüft.

7. Schritt 7: Verspätete Daten behandeln

   Nachträgliche Aktualisierung, Ausschluss, Korrekturstrom und gesonderte Qualitätsablage werden als explizite fachliche Varianten verglichen.

8. Schritt 8: Joins mit Zeitgrenzen absichern

   Streaming-Joins werden mit Schlüsseln, Zeitbezug und begrenzter Aufbewahrung so modelliert, dass Zustand und Ergebnis nachvollziehbar bleiben.

9. Schritt 9: Zustandsaufbewahrung planen

   Fenster, Watermarks, Bereinigung und erwartete Datenrate werden genutzt, um Zustandswachstum und Speicherkosten abzuschätzen.

10. Schritt 10: Modell mit Testfällen validieren

    Reihenfolgewechsel, Duplikate, fehlende Ereignisse, sehr späte Ereignisse und Zeitgrenzen werden in einer reproduzierbaren Testsuite geprüft.

Praxisübungen

• Ein fachliches Ereignismodell mit mehreren Zeitstempeln dokumentieren
• Tumbling-, Hopping- und Session-Fenster für denselben Datenstrom vergleichen
• Eine Watermark anhand gemessener Verspätungsverteilung festlegen
• Späte und ungeordnete Ereignisse mit erwarteten Ergebnissen testen

Methodik

Kleine synthetische Ereignisfolgen machen jede Zeit- und Zustandswirkung sichtbar. Modelle werden erst fachlich formuliert, dann in SQL umgesetzt und abschließend mit Grenzfällen geprüft. Die gewählte Seminardauer beträgt 2 Tage. Zwei Tage sind erforderlich, da Fensterarten, Watermarks, zeitbezogene Joins und verspätete Daten nicht nur syntaktisch, sondern mit Grenzfällen und Zustandsauswirkungen erprobt werden.