Seminar Trino – Connectoren und föderierte Abfragen

Das Seminar vermittelt den systematischen Aufbau einer föderierten Datenzugriffsschicht. Connector-Auswahl, Catalog-Konfiguration, Datentypen, Pushdown, Cross-Catalog-Joins, Datenbewegung, Dienstidentitäten, Fehlerfälle und Betriebsgrenzen werden anhand heterogener Quellen praktisch bewertet.

Inhaltsübersicht

• Lernziele und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Lernziele

• Connectoren und Catalogs anhand von Quelle, Fähigkeit und Betriebsanforderung auswählen.
• Verbindungen, Secrets, TLS und Dienstidentitäten sicher konfigurieren.
• Datentypabbildung und connectorabhängige SQL-Fähigkeiten bewerten.
• Pushdown und Cross-Catalog-Joins mit Ausführungsplänen prüfen.
• Föderierte Abfragen hinsichtlich Leistung, Sicherheit und Fehlertoleranz abnehmen.

Schrittweise Seminarinhalte

1. Connector- und Catalog-Architektur

Schwerpunkt: Catalog-Namensräume, Connector-Fähigkeiten, Metadaten, Leseschreibzugriff, Datenlokalität und Verantwortungsgrenzen.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Connector- und Catalog-Architektur“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von Catalog-Namensräume, Connector-Fähigkeiten, Metadaten, Leseschreibzugriff, Datenlokalität und Verantwortungsgrenzen. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine priorisierte Connector- und Catalog-Matrix dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

2. Sichere Verbindungsbereitstellung

Schwerpunkt: Properties, URLs, Treiber, TLS, Secrets, Dienstkonten, Netzwerkpfade, Connection Pools und Verbindungstests.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Sichere Verbindungsbereitstellung“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von Properties, URLs, Treiber, TLS, Secrets, Dienstkonten, Netzwerkpfade, Connection Pools und Verbindungstests. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis einen standardisierten Inbetriebnahmeprozess dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

3. Relationale Datenquellen

Schwerpunkt: PostgreSQL, MySQL, SQL Server, Oracle, MariaDB, Redshift, Snowflake und weitere JDBC-Quellen mit Typen und Statistiken.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Relationale Datenquellen“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von PostgreSQL, MySQL, SQL Server, Oracle, MariaDB, Redshift, Snowflake und weitere JDBC-Quellen mit Typen und Statistiken. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis ein belastbares relationales Federation-Muster dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

4. NoSQL-, Search- und Spezialquellen

Schwerpunkt: Cassandra, MongoDB, OpenSearch, Elasticsearch, Redis, Kafka, Prometheus und connectorabhängige Abfragemodelle.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „NoSQL-, Search- und Spezialquellen“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von Cassandra, MongoDB, OpenSearch, Elasticsearch, Redis, Kafka, Prometheus und connectorabhängige Abfragemodelle. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine bewertete Einsatzmatrix für nicht relationale Quellen dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

5. Typabbildung und SQL-Kompatibilität

Schwerpunkt: Numerik, Zeitstempel, Zeichenketten, Binärdaten, Arrays, JSON, Nullwerte, Großschreibung und unsupported types.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Typabbildung und SQL-Kompatibilität“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von Numerik, Zeitstempel, Zeichenketten, Binärdaten, Arrays, JSON, Nullwerte, Großschreibung und unsupported types. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis einen dokumentierten Typ- und Kompatibilitätskatalog dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

6. Pushdown und Cross-Catalog-Optimierung

Schwerpunkt: Predicate, Projection, Aggregation, Join, Limit und Top-N Pushdown, Datenbewegung, Join-Reihenfolge und Dynamic Filtering.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Pushdown und Cross-Catalog-Optimierung“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von Predicate, Projection, Aggregation, Join, Limit und Top-N Pushdown, Datenbewegung, Join-Reihenfolge und Dynamic Filtering. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis einen messbaren Optimierungs- und Plananalyseprozess dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

7. Sicherheit, Betrieb und Fehleranalyse

Schwerpunkt: Impersonation, Source Credentials, Catalog-Rechte, Timeouts, Retries, Query-IDs, Logs, Ausfälle und Betriebsgrenzen.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Sicherheit, Betrieb und Fehleranalyse“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von Impersonation, Source Credentials, Catalog-Rechte, Timeouts, Retries, Query-IDs, Logs, Ausfälle und Betriebsgrenzen. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis ein föderiertes Betriebs- und Troubleshooting-Runbook dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

Praxisübungen und Laborszenarien

• Konfiguration zweier unterschiedlicher Datenquellen als Catalogs.
• Entwicklung und Plananalyse eines Cross-Catalog-Joins.
• Diagnose von Typ-, Pushdown-, Berechtigungs- und Verbindungsfehlern.

Zielgruppe und Voraussetzungen

Zielgruppe: Data Engineering, Datenbankadministration, Systemintegration, Data-Platform-Architektur und technische Projektleitung.

Voraussetzungen: Gute SQL-Kenntnisse sowie praktische Erfahrung mit mindestens einer relationalen oder nicht relationalen Datenquelle.

Didaktik und Arbeitsweise

Kurze Fachimpulse werden unmittelbar durch Demonstrationen, strukturierte Konfigurations- oder SQL-Schritte, praktische Übungen und kontrollierte Fehlerfälle vertieft. Jede Übung verwendet definierte Ausgangswerte, Prüfpunkte und Dokumentationsanforderungen, damit die erarbeiteten Abläufe als technischer Standard wiederholbar bleiben.