Seminar RisingWave – Komplett-Intensivseminar

Das fünftägige Komplettformat fasst sämtliche Einzelseminare zu einer zusammenhängenden Lern- und Praxisstrecke zusammen. Es führt von den Grundlagen über Integrationen und Datenprodukte bis zu Lakehouse, KI, Plattformbetrieb, Sicherheit, Performance und Wiederherstellung.

Inhaltsverzeichnis

• Zielsetzung
• Zielgruppe
• Voraussetzungen
• Seminarinhalte
• Praxisübungen
• Methodik

Zielsetzung

• RisingWave von der ersten SQL-Verbindung bis zur produktionsreifen Plattform beherrschen
• Alle wesentlichen Quellen, Verarbeitungsmuster und Ausgabepfade fachlich einordnen
• Cloud- und Kubernetes-Betrieb einschließlich Sicherheit und Observability planen
• Eine vollständige Streaming-Plattform entwickeln, testen, betreiben und wiederherstellen

Zielgruppe

Data Engineers, Analytics Engineers, Plattformteams, technische Architekten, Projektleitungen und künftige RisingWave-Verantwortliche mit umfassendem Qualifizierungsbedarf.

Voraussetzungen

Solide SQL- und Datenbankkenntnisse. Grundkenntnisse von Linux, Netzwerken, Message Queues oder Cloud-Plattformen sind hilfreich; spezielle RisingWave-Erfahrung ist nicht erforderlich.

Seminarinhalte

1. Schritt 1: Einstieg und sichere Bedienung

   Streaming-Grundbegriffe, Verbindung, Datenbanken, Schemas, Objekte und eine erste Quelle werden praktisch eingerichtet.

2. Schritt 2: Streaming-SQL vertiefen

   Datentypen, Ausdrücke, Joins, Aggregationen, Top-N, analytische Funktionen und Änderungssemantik werden mit Grenzfällen erarbeitet.

3. Schritt 3: Architektur und Ausführung verstehen

   Frontend, Meta, Compute, Zustand, Streaming-Graphen, Barrieren, Checkpoints, Skalierung und Wiederanlauf werden als technisches Gesamtmodell vermittelt.

4. Schritt 4: Datenmodell, Fenster und Watermarks entwickeln

   Ereigniszeit, Tumbling-, Hopping- und Session-Windows, verspätete Daten, zeitbegrenzte Joins und Zustandsaufbewahrung werden praktisch modelliert.

5. Schritt 5: Kafka und Message Queues anbinden

   Verbindungen, Topics, Partitionen, Offsets, JSON, Avro, Protobuf, Schema Registry, Upserts und Fehlernachrichten werden kontrolliert verarbeitet.

6. Schritt 6: CDC und Datenbanken integrieren

   PostgreSQL-, MySQL-, SQL-Server- und MongoDB-Szenarien werden über Quellvorbereitung, Snapshot, Änderungen, Schlüssel und Schemaentwicklung eingeordnet.

7. Schritt 7: Webhooks und Events API einsetzen

   HTTP-Aufnahme, Ereignisvertrag, Authentifizierung, Idempotenz, Retries, Reihenfolge und Lastspitzen werden in einer Beispielanwendung getestet.

8. Schritt 8: Materialized-View-Pipelines aufbauen

   Staging, Transformation, Serving, Abhängigkeiten, Aktualisierung, Indexe und Datenqualität werden als mehrstufiges Datenprodukt umgesetzt.

9. Schritt 9: dbt und Analytics Engineering anwenden

   Projektstruktur, Quellen, Modelle, Materialisierungen, Tests, Lineage, Dokumentation, Git und CI-Deployment werden integriert.

10. Schritt 10: UDFs kontrolliert erweitern

    SQL-, JavaScript-, Python-, Rust- und Java-Funktionen werden nach Vertrag, Leistung, Sicherheit und Betrieb verglichen.

11. Schritt 11: Sinks und Subscriptions bereitstellen

    Kafka-, Datenbank- und Iceberg-Sinks sowie fortlaufende Subscriptions werden mit Liefersemantik, Consumer-Offsets und Rückstaukontrolle umgesetzt.

12. Schritt 12: Iceberg und Streaming Lakehouse verbinden

    Katalog, Objektspeicher, Quelle, Sink, Partitionierung, Snapshots, Dateigröße, Kompaktierung und Multi-Engine-Zugriff werden praktisch behandelt.

13. Schritt 13: Echtzeitdaten für KI aufbereiten

    Aktuelle Merkmale, Entitätskontext, Embeddings, Vektorindex, Hybrid Retrieval und Python-Zugriff werden als moderner Serving-Pfad aufgebaut.

14. Schritt 14: Cloud-Projekte verwalten

    Managed-Projekte, Rollen, Secrets, Verbindungen, Compute-Skalierung, Monitoring, Kostenkontrolle und Betriebsübergabe werden durchgeführt.

15. Schritt 15: Kubernetes und Helm betreiben

    Clusterarchitektur, Helm, Operator, Storage, Netzwerk, Ressourcen, Hochverfügbarkeit, Skalierung und Upgrades werden eingeordnet und geübt.

16. Schritt 16: Sicherheit durchsetzen

    Schutzbedarf, Rollen, Besitz, minimale Rechte, Secrets, TLS, OAuth, LDAP, Protokollierung, Rotation und Vorfallbehandlung werden umgesetzt.

17. Schritt 17: Monitoring und Fehleranalyse etablieren

    Prometheus, Grafana, Logs, Tracing, Datenfortschritt, Alarmierung, Incident-Triage und Root-Cause-Dokumentation werden verbunden.

18. Schritt 18: Performance und Kapazität planen

    Lastbaseline, SQL-Plan, Schlüssel, Parallelität, Zustand, Source- und Sink-Durchsatz, Serving und Wachstum werden messbasiert optimiert.

19. Schritt 19: Administration und Regelbetrieb organisieren

    Konfiguration, Ressourcen, Benutzer, Routineaufgaben, Changes, Wartung und Runbooks werden zu einem stabilen Betriebsmodell zusammengeführt.

20. Schritt 20: Backup, Restore und Upgrade absichern

    Sicherungsziele, Metadaten, Zustand, Wiederherstellung, Validierung, Testupgrade, Cutover, Rollback und Disaster Recovery werden als Abschlussübung durchgeführt.

Praxisübungen

• Eine gemeinsame RisingWave-Umgebung mit Rollen, Schemas und Betriebsstruktur aufbauen
• Kafka-, CDC- und Webhook-Daten in ein einheitliches Ereignismodell integrieren
• Zeitbezogene Materialized Views mit dbt-Tests und Indexen entwickeln
• Ergebnisse an Kafka, Datenbank und Iceberg ausliefern sowie per Subscription konsumieren
• Eine UDF, einen Echtzeit-KI-Kontext und einen Python-Zugriff ergänzen
• Monitoring, Performance-Test, Skalierung und Sicherheitskontrollen durchführen
• Restore, Upgrade-Entscheidung und produktive Abnahme als Gesamtsimulation bearbeiten

Methodik

Die fünf Tage bauen streng aufeinander auf: Grundlagen und SQL, Integrationen, Datenprodukte und Lakehouse, Plattformbetrieb und Sicherheit, abschließend Performance, Recovery und Gesamtprüfung. Ein einheitliches Fallbeispiel verhindert isolierte Einzellabore. Die gewählte Seminardauer beträgt 5 Tage. Fünf Tage sind die maximal zulässige und fachlich sinnvolle Dauer, um alle Einzelseminare in einer durchgängigen Praxisstrecke zusammenzufassen, ohne wesentliche Betriebs- oder Sicherheitsthemen auszulassen.