Seminar RisingWave – dbt und Analytics Engineering

dbt bringt versionierbare Modelle, Tests und geregelte Bereitstellung in die Streaming-Analyse. Die Schulung verbindet dbt-Projektstruktur mit RisingWave-Objekten und entwickelt daraus einen wiederholbaren Entwicklungs- und Freigabeprozess.

Inhaltsverzeichnis

• Zielsetzung
• Zielgruppe
• Voraussetzungen
• Seminarinhalte
• Praxisübungen
• Methodik

Zielsetzung

• Ein dbt-Projekt für RisingWave sauber strukturieren
• Quellen, Modelle und Materialisierungen für Streaming-Anforderungen einsetzen
• Tests, Dokumentation und Abhängigkeiten automatisiert kontrollieren
• Änderungen über Versionsverwaltung, CI und geregelte Deployments ausliefern

Zielgruppe

Analytics Engineers, Data Engineers, BI-Entwicklung, Data-Platform-Teams und technische Qualitätssicherung.

Voraussetzungen

Gute SQL-Kenntnisse, Grundkenntnisse von Git und Verständnis relationaler Datenmodellierung. dbt-Vorkenntnisse sind hilfreich, aber nicht erforderlich.

Seminarinhalte

1. Schritt 1: Projekt und Profile einrichten

   Verzeichnisstruktur, Verbindung, Zielumgebungen, Namenskonventionen und sichere Konfigurationswerte werden für Entwicklung und Produktion getrennt aufgebaut.

2. Schritt 2: Quellen deklarieren

   RisingWave-Quellen und bestehende Relationen werden mit Beschreibungen, Aktualitätserwartungen und wiederverwendbaren Referenzen erfasst.

3. Schritt 3: Modelle modular entwickeln

   Staging-, Zwischen- und fachliche Modelle werden mit klaren Verantwortungsgrenzen und stabilen Schnittstellen aufgebaut.

4. Schritt 4: Materialisierungen auswählen

   Views, Tabellen und streaminggerechte Materialized Views werden nach Aktualität, Zustand, Abfragebedarf und Änderungsverhalten eingesetzt.

5. Schritt 5: Makros und Variablen verwenden

   Wiederkehrende SQL-Muster, Umgebungsunterschiede und Namensregeln werden zentralisiert, ohne die Lesbarkeit der Modelle zu verlieren.

6. Schritt 6: Datenqualität testen

   Not-null-, Unique-, Relationship- und fachliche Tests werden an Schlüsseln, Zeitfeldern und Ergebnisregeln ausgerichtet.

7. Schritt 7: Abhängigkeiten und Dokumentation pflegen

   Lineage, Modellbeschreibungen, Spaltendokumentation und Verantwortlichkeiten werden automatisch erzeugt und als Freigabegrundlage genutzt.

8. Schritt 8: Änderungen sicher entwickeln

   Branches, Pull Requests, isolierte Schemas, Selektoren und gezielte Testausführung werden zu einem schlanken Entwicklungsworkflow kombiniert.

9. Schritt 9: CI und Deployment automatisieren

   Syntaxprüfung, Kompilierung, Tests, Artefakte, Freigabe und produktive Ausführung werden mit eindeutigen Abbruchkriterien versehen.

10. Schritt 10: Streaming-Änderungen betreiben

    Lang laufende Materialisierungen, Abhängigkeiten, kontrollierter Ersatz und Beobachtung nach dem Deployment werden in ein Betriebsverfahren eingebettet.

Praxisübungen

• Ein dbt-Projekt mit Entwicklungs- und Produktionsziel aufsetzen
• Eine mehrstufige Modellkette bis zur Materialized View erstellen
• Generische und fachliche Tests für Streaming-Ergebnisse definieren
• Einen CI-Ablauf mit selektivem Build und geregelter Freigabe entwerfen

Methodik

Ein gemeinsames Repository wird schrittweise ausgebaut. Jede Modelländerung durchläuft Kompilierung, Test, Dokumentation und einen simulierten Freigabeprozess. Die gewählte Seminardauer beträgt 2 Tage. Zwei Tage erlauben den Aufbau eines vollständigen Projekts einschließlich Modellierung, Tests, Dokumentation und CI-Deployment; ein Tag würde den produktionsnahen Entwicklungsprozess nicht abdecken.