Seminar Apache DataFusion SQL, CLI und Dateiquellen

Überblick

Dieses Seminar konzentriert sich auf die praktische Arbeit mit Apache DataFusion im Alltag: Abfragen formulieren, Datenquellen registrieren, CLI und Konfiguration beherrschen und das Laufzeitverhalten mit EXPLAIN nachvollziehen. Wer DataFusion zunächst als Werkzeug nutzen will, findet hier den direkten Einstieg. Behandelt werden sowohl lokale Dateien und Verzeichnisse als auch entfernte Quellen und objektbasierte Speicher, soweit sie im typischen Projektbetrieb relevant sind.

Zielgruppe

Geeignet für Data Engineers, technisch versierte Analysten, Plattform-Teams und Entwickler, die zügig produktive Abfragen aufbauen und reproduzierbar betreiben möchten. Das Seminar passt besonders gut nach einem Architekturüberblick oder als Einstieg in Prototyping und Datenexploration.

Inhalte

• Aufsetzen und Benutzen der DataFusion CLI inklusive zentraler Befehle für Tabellen, Funktionen und Konfiguration
• Arbeiten mit SQL, DDL und EXPLAIN sowie sichere Nutzung von CREATE EXTERNAL TABLE
• Einbinden lokaler Dateien und Verzeichnisse für Parquet, CSV, JSON und Avro
• Umgang mit Partitionierung, Hive-kompatiblen Verzeichnisstrukturen und Schemafragen
• Nutzung entfernter Quellen über HTTP sowie objektbasierter Speicher wie S3-, GCS- oder Blob-basierte Umgebungen
• Konfigurationsoptionen mit SHOW ALL, SET und Umgebungsvariablen für saubere Laufzeitprofile
• Object-Store-Profiling, EXPLAIN und erste Leistungsanalyse für I/O-lastige Abfragen
• Typische Stolperstellen bei Dateipfaden, Verzeichniszugriff, Schemaableitung und Sortierung

Praxis

Die Übungen drehen sich um reale Dateiquellen und praxisnahe Abfragen. Dazu gehören das Registrieren externer Tabellen, das Arbeiten mit Partitionen, das Lesen von Plänen und das systematische Eingrenzen von I/O- oder Konfigurationsproblemen.