Inhaltsverzeichnis
- Kurzprofil
- Rahmendaten
- Zielgruppe
- Voraussetzungen
- Lernziele
- Inhalte nach Tagen
- Praxisübungen
- Technische Umgebung
- Umsetzungspaket
Kurzprofil
Das Kompaktseminar bündelt die zentralen Inhalte rund um Apache Avro in drei Tagen. Es verbindet Grundlagen, Schema Evolution und Integrationsmuster für Entwicklung, Event Streaming und Data-Lake-Szenarien. Der Fokus liegt auf einem schnellen, konsistenten Gesamtbild und unmittelbar anwendbaren Templates.
Rahmendaten
- Dauer: 3 Tage
- Niveau: Grundlagen bis Aufbau
- Format: Kompakte Theorieblöcke, durchgängige Labs, Musterkatalog
Zielgruppe
- Teams, die Avro kurzfristig in Projekten einführen oder standardisieren
- Architektur- und Plattformteams mit Bedarf an End-to-End-Verständnis
- Entwicklung und Data Engineering mit Schnittstellenverantwortung
Voraussetzungen
- Grundverständnis von Datenmodellen und Serialisierung
- Programmierpraxis in mindestens einer Sprache
Lernziele
- Avro-Schemas modellieren, validieren und produktiv versionieren
- Kompatible Schema-Änderungen planen und testen
- Integrationsmuster für Kafka und Data Lake einordnen und anwenden
- Qualitätssicherung und Betriebsbausteine definieren
Inhalte nach Tagen
Tag 1: Grundlagen und Tooling
- Schema-Sprache, Records/Unions/Defaults/Logical Types
- Writer/Reader-Prinzip und Serialisierungspfade
- Container-Dateien, Kompression, Inspektion
- Schema-Konventionen und erste Build-Integration
Tag 2: Schema Evolution & Governance
- Kompatibilitätsmodelle und erlaubte Änderungen
- Evolutionsmuster und Breaking-Change-Katalog
- Kompatibilitätsmatrix und CI-Gate
- Versionierung, Review-Checklisten, Deprecation-Regeln
Tag 3: Integration in Plattformen
- Event Streaming: Event-Schema-Design, Registry-Konzepte, Rollout-Strategien
- Data Lake: Schreiben/Lesen mit Spark, Schema-on-Read, Validierung
- Qualität/Performance: Diagnosesignale, Tuning, Runbook-Bausteine
Praxisübungen
Durchgängiges Lab: Von v1 bis v3
- Domänenobjekt als Schema v1 modellieren und erste Datensätze erzeugen.
- Serialisierung implementieren und Container-Datei schreiben.
- Schema v2 (kompatibel) entwerfen und Reader/Writer-Kombinationen prüfen.
- Schema v3 entwerfen (Alias/Enum-Änderung) und Kompatibilitätsmatrix aktualisieren.
- Release-Regeln festhalten: Versionierung, Review, CI-Gate, Deprecation.
Integration-Lab: Event und Data Lake
- Event-Schema ableiten und Topic/Subject-Konvention definieren.
- Registry-Check skizzieren und Rollout-Plan erstellen.
- Gleiche Daten als Avro-Dateien in eine Landing-Zone schreiben.
- Spark-Lesejob erstellen, Schema Evolution prüfen und Qualitätsregeln ergänzen.
Technische Umgebung
- Java oder Python, Build-Tool optional
- Optional: Kafka-Umgebung und Spark-Umgebung für die Integrations-Labs
Umsetzungspaket
- Schema-Konventionsdokument (Naming, Defaults, Nullability, Logical Types)
- Kompatibilitätsmatrix-Template und CI-Gate-Checkliste
- Rollout-Playbook für Producer/Consumer
- Data-Lake-Regeln: Landing vs. Curated Formatwahl
- Runbook-Skelett für Diagnose und Reprocessing
