Seminar RisingWave – UDFs und erweiterte Verarbeitung

User-Defined Functions erweitern SQL um fachliche oder technische Logik, erhöhen aber zugleich Betriebs- und Sicherheitsrisiken. Die Schulung zeigt, wann UDFs sinnvoll sind und wie SQL-, JavaScript-, Python-, Rust- und Java-Funktionen testbar und performant eingebunden werden.

Inhaltsverzeichnis

• Zielsetzung
• Zielgruppe
• Voraussetzungen
• Seminarinhalte
• Praxisübungen
• Methodik

Zielsetzung

• Konfiguration, SQL-Ausdruck und UDF anhand klarer Kriterien unterscheiden
• Skalare und tabellarische Funktionen mit stabilen Verträgen entwickeln
• Sprachlaufzeiten, Fehler, Abhängigkeiten und Leistung kontrollieren
• UDFs versioniert testen, bereitstellen und überwachen

Zielgruppe

Data Engineers, Softwareentwicklung, Analytics Engineering, Data-Platform-Teams und technische Architektur.

Voraussetzungen

Gute SQL-Kenntnisse. Für die praktischen Sprachbeispiele sind Grundkenntnisse in mindestens einer Sprache wie Python, JavaScript, Rust oder Java erforderlich.

Seminarinhalte

1. Schritt 1: Erweiterungsbedarf bewerten

   Fachliche Regel, Wiederverwendung, Komplexität, Datenvolumen, Latenz und Wartbarkeit entscheiden darüber, ob eine UDF überhaupt gerechtfertigt ist.

2. Schritt 2: Funktionsvertrag definieren

   Name, Eingabetypen, Rückgabetyp, Nullverhalten, Determinismus, Fehlerfälle und Versionierung werden vor der Implementierung festgelegt.

3. Schritt 3: SQL-UDF erstellen

   Wiederverwendbare SQL-Logik wird mit eindeutigen Typen und Tests gekapselt, ohne unnötige externe Laufzeit.

4. Schritt 4: JavaScript-UDF einsetzen

   Leichtgewichtige Transformationslogik wird implementiert; Typabbildung, Nullwerte, Ausnahmen und Laufzeitgrenzen werden geprüft.

5. Schritt 5: Python-UDF integrieren

   Python-Umgebung, Abhängigkeiten, Serialisierung, Prozesskommunikation und Fehlerausgabe werden für datenwissenschaftliche Funktionen kontrolliert.

6. Schritt 6: Rust- und Java-UDF einordnen

   Kompilierte Implementierungen werden hinsichtlich Leistung, Bereitstellung, Schnittstelle, Abhängigkeiten und Wartung verglichen.

7. Schritt 7: Tabellenfunktionen entwickeln

   Eine Eingabe wird in mehrere Ausgabezeilen überführt; Kardinalität, Schema und Auswirkungen auf nachfolgende Joins werden getestet.

8. Schritt 8: Fehler und Datenqualität behandeln

   Ungültige Eingaben, Ausnahmen, Timeouts, unzulässige Ergebnisse und fachliche Ersatzwerte werden explizit voneinander getrennt.

9. Schritt 9: Leistung messen

   Aufrufrate, Batch-Verhalten, Serialisierung, CPU-Verbrauch und Auswirkung auf den Streaming-Graphen werden mit einer SQL-Alternative verglichen.

10. Schritt 10: Sicherheit und Isolation prüfen

    Zulässige Bibliotheken, Netzwerkzugriffe, Secrets, Ressourcenverbrauch und Verantwortlichkeit werden nach einem minimalen Vertrauensmodell begrenzt.

11. Schritt 11: Versionierung und Deployment organisieren

    Quellcode, Artefakt, Funktionsdefinition, Testdaten, Kompatibilität und Rollback werden als gemeinsame Release-Einheit verwaltet.

12. Schritt 12: UDF im Betrieb überwachen

    Fehlerrate, Latenz, Ressourcennutzung, Versionsstand und fachliche Ergebnisqualität werden in die Pipeline-Observability aufgenommen.

Praxisübungen

• Eine fachliche Regel zunächst als SQL-UDF implementieren und testen
• Dieselbe Funktion in einer externen Sprache anbinden und vergleichen
• Eine Tabellenfunktion mit variabler Ausgabe entwickeln
• Leistung, Fehlerverhalten und Rollback einer UDF-Version prüfen

Methodik

Die Übungen beginnen mit der einfachsten SQL-Variante und erhöhen die technische Komplexität nur bei nachweisbarem Nutzen. Jede Implementierung erhält Vertrag, Tests und Messwerte. Die gewählte Seminardauer beträgt 2 Tage. Zwei Tage sind erforderlich, weil mehrere Laufzeitmodelle praktisch verglichen und zusätzlich Vertrag, Tests, Performance, Sicherheit und Deployment als Produktionsanforderungen behandelt werden.