Seminar Trino Intensivseminar – SQL, Performance und Entwicklung

Das fünftägige Intensivformat führt von belastbarer analytischer SQL-Entwicklung bis zur Diagnose und Erweiterung der Engine. Abfragen, komplexe Datentypen, Ausführungspläne, Optimizer, Statistiken, Speicher- und Join-Verhalten, Clientintegration, benutzerdefinierte Funktionen und Connector-Plugins werden in einem durchgängigen Engineering-Pfad bearbeitet.

Inhaltsübersicht

• Lernziele und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Lernziele

• Analytische SQL-Abfragen für verteilte Datenquellen korrekt und wartbar entwickeln.
• Komplexe Datentypen, JSON, Lambda-Ausdrücke und Window Functions gezielt einsetzen.
• Ausführungspläne, Kosten, Statistiken, Pushdown und dynamische Filter systematisch analysieren.
• Workloads reproduzierbar messen und mit geeigneten Optimierungsmaßnahmen verbessern.
• UDFs und Connector-Plugins nach der Trino-SPI entwickeln, testen und paketieren.

Schrittweise Seminarinhalte

1. Verteilte Ausführung und SQL-Semantik

Schwerpunkt: Query-Lifecycle, Stages, Tasks, Splits, Pages, Datenlokalität, Connector-Fähigkeiten und Auswirkungen auf SQL-Entwurf.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Verteilte Ausführung und SQL-Semantik“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von Query-Lifecycle, Stages, Tasks, Splits, Pages, Datenlokalität, Connector-Fähigkeiten und Auswirkungen auf SQL-Entwurf. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis ein belastbares mentales Ausführungsmodell dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

2. Relationale Abfragemuster

Schwerpunkt: SELECT, Filter, Joins, Aggregationen, Gruppierungssätze, Unterabfragen, CTEs, Views und NULL-Semantik.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Relationale Abfragemuster“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von SELECT, Filter, Joins, Aggregationen, Gruppierungssätze, Unterabfragen, CTEs, Views und NULL-Semantik. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine Sammlung korrekter und wartbarer Basismuster dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

3. Analytische SQL-Techniken

Schwerpunkt: Window Functions, Ranking, Frames, MATCH_RECOGNIZE, Zeitreihen, Deduplizierung, Sessionisierung und inkrementelle Auswertung.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Analytische SQL-Techniken“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von Window Functions, Ranking, Frames, MATCH_RECOGNIZE, Zeitreihen, Deduplizierung, Sessionisierung und inkrementelle Auswertung. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis einen geprüften analytischen Abfragekatalog dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

4. Komplexe Datentypen und JSON

Schwerpunkt: ARRAY, MAP, ROW, UNNEST, Lambda-Ausdrücke, JSON-Funktionen, Typkonvertierung, Variant und verschachtelte Daten.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Komplexe Datentypen und JSON“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von ARRAY, MAP, ROW, UNNEST, Lambda-Ausdrücke, JSON-Funktionen, Typkonvertierung, Variant und verschachtelte Daten. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis wiederverwendbare Muster für semi-strukturierte Daten dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

5. EXPLAIN und EXPLAIN ANALYZE

Schwerpunkt: Planfragmente, Operatoren, Estimates, tatsächliche Laufzeitdaten, CPU, Blocking, Netzwerk, Speicher und Hotspots.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „EXPLAIN und EXPLAIN ANALYZE“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von Planfragmente, Operatoren, Estimates, tatsächliche Laufzeitdaten, CPU, Blocking, Netzwerk, Speicher und Hotspots. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis einen systematischen Plananalyseprozess dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

6. Statistiken und Cost-Based Optimizer

Schwerpunkt: Tabellen- und Spaltenstatistiken, ANALYZE, Kosten, Join-Reihenfolge, Join-Verteilung, Adaptive Optimierungen und Fehlannahmen.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Statistiken und Cost-Based Optimizer“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von Tabellen- und Spaltenstatistiken, ANALYZE, Kosten, Join-Reihenfolge, Join-Verteilung, Adaptive Optimierungen und Fehlannahmen. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis ein belastbares Statistik- und Optimizer-Modell dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

7. Pushdown und dynamische Filter

Schwerpunkt: Predicate-, Projection-, Aggregation- und Join-Pushdown, Connector-Grenzen, Dynamic Filtering und Partition Pruning.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Pushdown und dynamische Filter“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von Predicate-, Projection-, Aggregation- und Join-Pushdown, Connector-Grenzen, Dynamic Filtering und Partition Pruning. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine nachvollziehbare Strategie zur Reduktion von Datenbewegung dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

8. Speicher, Parallelität und resiliente Ausführung

Schwerpunkt: Speicherpools, Revocable Memory, Join-Strategien, Distributed Sort, Writer Scaling, Spill-Einordnung und Fault-Tolerant Execution.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Speicher, Parallelität und resiliente Ausführung“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von Speicherpools, Revocable Memory, Join-Strategien, Distributed Sort, Writer Scaling, Spill-Einordnung und Fault-Tolerant Execution. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis ein abgestimmtes Ressourcen- und Ausführungsprofil dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

9. Benchmarking und Regressionstests

Schwerpunkt: Repräsentative Datensätze, Warm-up, Wiederholungen, Concurrency, TPC-nahe Muster, Kennzahlen, Baseline und Change-Vergleich.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Benchmarking und Regressionstests“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von Repräsentative Datensätze, Warm-up, Wiederholungen, Concurrency, TPC-nahe Muster, Kennzahlen, Baseline und Change-Vergleich. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis einen reproduzierbaren Performance-Testplan dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

10. CLI, JDBC und BI-Integration

Schwerpunkt: Treiberparameter, Authentifizierung, Sessions, Prepared Statements, Fetch-Verhalten, Client-Tags, Connection Pools und BI-Abnahme.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „CLI, JDBC und BI-Integration“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von Treiberparameter, Authentifizierung, Sessions, Prepared Statements, Fetch-Verhalten, Client-Tags, Connection Pools und BI-Abnahme. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine produktionsnahe Client- und Anwendungskonfiguration dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

11. Benutzerdefinierte Funktionen

Schwerpunkt: SQL-UDFs, Python-UDFs, Funktionssignaturen, Typen, Fehlerverhalten, Deployment, Sicherheit und Leistung.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Benutzerdefinierte Funktionen“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von SQL-UDFs, Python-UDFs, Funktionssignaturen, Typen, Fehlerverhalten, Deployment, Sicherheit und Leistung. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine getestete UDF-Bibliothek mit Betriebsregeln dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

12. SPI, Connector-Plugin und Release

Schwerpunkt: Plugin-Struktur, ConnectorFactory, Metadata, SplitManager, PageSource, Pushdown, Schreiben, Tests, Paketierung und Versionskompatibilität.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „SPI, Connector-Plugin und Release“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von Plugin-Struktur, ConnectorFactory, Metadata, SplitManager, PageSource, Pushdown, Schreiben, Tests, Paketierung und Versionskompatibilität. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis einen lauffähigen, getesteten Beispielconnector dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

Praxisübungen und Laborszenarien

• Entwicklung eines analytischen SQL-Workflows mit Window Functions und komplexen Datentypen.
• Plananalyse einer absichtlich ineffizienten Multi-Join-Abfrage.
• Vergleich verschiedener Join-Verteilungen, Statistiken und Pushdown-Varianten.
• Aufbau einer reproduzierbaren Benchmark-Suite mit Performance-Baseline.
• Integration einer Beispielanwendung über JDBC mit Sessions und Client-Tags.
• Implementierung einer UDF und eines minimalen Connector-Plugins mit Tests.

Zielgruppe und Voraussetzungen

Zielgruppe: Data Analysts, Analytics Engineers, Data Engineers, Performance Engineers, Java-Entwicklung, Plattformarchitektur und technische Projektleitung.

Voraussetzungen: Gute SQL-Kenntnisse; für den Entwicklungsteil Java-, Maven- und Testpraxis; Grundverständnis verteilter Datenverarbeitung.

Didaktik und Arbeitsweise

Kurze Fachimpulse werden unmittelbar durch Demonstrationen, strukturierte Konfigurations- oder SQL-Schritte, praktische Übungen und kontrollierte Fehlerfälle vertieft. Jede Übung verwendet definierte Ausgangswerte, Prüfpunkte und Dokumentationsanforderungen, damit die erarbeiteten Abläufe als technischer Standard wiederholbar bleiben.