Seminar RisingWave – Architektur und Interna

Fundierte Architekturkenntnisse erleichtern Entwurf, Betrieb und Fehleranalyse verteilter Streaming-Systeme. Die Schulung zerlegt RisingWave in seine zentralen Dienste und verfolgt Daten, Zustände und Steuerinformationen durch den gesamten Verarbeitungspfad.

Inhaltsverzeichnis

• Zielsetzung
• Zielgruppe
• Voraussetzungen
• Seminarinhalte
• Praxisübungen
• Methodik

Zielsetzung

• Die Aufgaben von Frontend-, Meta-, Compute- und Speicherdiensten erklären
• Streaming-Graphen, Operatoren, Zustände und Kontrollbarrieren nachvollziehen
• Skalierung, Wiederanlauf und Konsistenz technisch bewerten
• Architekturentscheidungen mit Auswirkungen auf Betrieb und Leistung verbinden

Zielgruppe

Data Architects, erfahrene Data Engineers, Plattformarchitektur, technische Leitung, SRE und Entwickler datenintensiver Anwendungen.

Voraussetzungen

Sichere SQL-Kenntnisse sowie Grundverständnis verteilter Systeme, Streams, Zustandsverarbeitung und objektbasierten Speichers.

Seminarinhalte

1. Schritt 1: Gesamtarchitektur einordnen

   SQL-Schnittstelle, Metadatensteuerung, Compute-Ebene, Zustandsverwaltung und externe Speicherkomponenten werden als zusammenhängendes Systemmodell dargestellt.

2. Schritt 2: SQL bis zum Ausführungsplan verfolgen

   Parser, Binder, Optimierung und Planerzeugung werden vom eingehenden SQL-Statement bis zum verteilten Ausführungsgraphen nachvollzogen.

3. Schritt 3: Streaming-Graphen analysieren

   Operatoren, Austauschbeziehungen, Parallelisierung und Datenverteilung werden an einem mehrstufigen Materialized-View-Modell untersucht.

4. Schritt 4: Zustand und Persistenz verstehen

   In-Memory-Zustände, persistente Zustandsablage, Objektspiegelung und Wiederherstellung werden hinsichtlich Latenz und Haltbarkeit eingeordnet.

5. Schritt 5: Barrieren und Checkpoints untersuchen

   Kontrollbarrieren koordinieren Zustandsfortschritt, Konfigurationsänderungen und konsistente Wiederaufnahme; ihre Wirkung wird schrittweise analysiert.

6. Schritt 6: Fehler und Wiederanlauf modellieren

   Ausfall einzelner Dienste, Neuplanung, Wiederherstellung und erneute Verarbeitung werden anhand definierter Fehlerbilder verfolgt.

7. Schritt 7: Elastische Skalierung bewerten

   Parallelität, Fragmentverteilung, Zustandsverschiebung und temporäre Leistungseffekte werden für Scale-out und Scale-in betrachtet.

8. Schritt 8: Konsistenzgrenzen bestimmen

   Quellen, interne Verarbeitung, Checkpoints und Sinks werden als Ende-zu-Ende-Kette mit unterschiedlichen Liefer- und Konsistenzzusagen bewertet.

9. Schritt 9: Architekturdiagnose durchführen

   Systemkatalog, Pläne, Metriken und Laufzeitinformationen werden kombiniert, um Engpässe einer Beispielpipeline technisch zu erklären.

Praxisübungen

• Eine SQL-Pipeline in logische und physische Verarbeitungsschritte zerlegen
• Abhängigkeiten und Zustandsorte eines Streaming-Graphen dokumentieren
• Ausfall und Wiederanlauf einer Komponente als Sequenzdiagramm modellieren
• Eine Skalierungsentscheidung mit technischen Nebenwirkungen begründen

Methodik

Architekturdiagramme, Systemkatalogabfragen und Laufzeitbeobachtungen werden verbunden. Jede Theorieeinheit endet mit einer nachvollziehbaren Diagnose- oder Entwurfsaufgabe. Die gewählte Seminardauer beträgt 2 Tage. Zwei Tage ermöglichen sowohl die systematische Komponentenlehre als auch die praktische Analyse von Ausführung, Zustand, Fehlerfall und Skalierung; ein einzelner Tag bliebe rein oberflächlich.