Seminar dbt Core – Inkrementelle Modelle, Microbatch und Backfills

Das Seminar behandelt die Stellen, an denen inkrementelle Modelle in der Praxis scheitern: unzuverlässige Ladegrenzen, ungeeignete Schlüssel, Schemaänderungen, verspätete Ereignisse und fehlerhafte Wiederanläufe. Für jeden Fall entstehen reproduzierbare Prüf- und Reparaturschritte.

Inhaltsverzeichnis

• Lernziele und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Lernziele

• Filtergrenzen, unique_key und Idempotenz für inkrementelle Modelle korrekt definieren.
• Adaptergerechte inkrementelle Strategien auswählen und bewerten.
• Schemaänderungen und Full-Refresh-Entscheidungen kontrolliert behandeln.
• Microbatch für große Zeitreihen konfigurieren und Teilintervalle wiederholen.
• Backfills und verspätete Daten mit Abgleich und Abnahmekriterien ausführen.

Schrittweise Seminarinhalte

1. Grundlagen inkrementeller Modelle

Schwerpunkt: is_incremental(), Filterkriterium, unique_key, Erstaufbau, Folgelauf, Vollaufbau und Datenkorrekturen.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Grundlagen inkrementeller Modelle“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu is_incremental(), Filterkriterium, unique_key, Erstaufbau, Folgelauf, Vollaufbau und Datenkorrekturen identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein korrekt wiederholbares inkrementelles Modell mit dokumentierter Ladegrenze dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

2. Inkrementelle Strategien und Adapterverhalten

Schwerpunkt: append, merge, delete+insert, insert_overwrite, microbatch, Prädikate, Partitionen und plattformspezifische Einschränkungen.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Inkrementelle Strategien und Adapterverhalten“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu append, merge, delete+insert, insert_overwrite, microbatch, Prädikate, Partitionen und plattformspezifische Einschränkungen identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine adaptergerechte Strategieauswahl mit messbaren Kosten- und Laufzeitzielen dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

3. Schemaänderungen, unique_key und Full Refresh

Schwerpunkt: on_schema_change, Spaltenergänzung, Typänderung, Schlüsselqualität, idempotente Wiederholung, Reparaturlauf und Rollback.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Schemaänderungen, unique_key und Full Refresh“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu on_schema_change, Spaltenergänzung, Typänderung, Schlüsselqualität, idempotente Wiederholung, Reparaturlauf und Rollback identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein sicherer Änderungsprozess für inkrementelle Tabellen dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

4. Microbatch für große Zeitreihen

Schwerpunkt: event_time, batch_size, lookback, Upstream-Filterung, parallele Batches, Batchgrenzen und fehlgeschlagene Teilintervalle.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Microbatch für große Zeitreihen“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu event_time, batch_size, lookback, Upstream-Filterung, parallele Batches, Batchgrenzen und fehlgeschlagene Teilintervalle identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein Microbatch-Modell mit kontrollierter Intervallbildung und Wiederanlaufstrategie dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

5. Backfills, verspätete Daten und Wiederanläufe

Schwerpunkt: Zeitfenster, historische Korrektur, selektive Neubildung, Retry, Reprocessing, Datenabgleich und Auswirkungsbegrenzung.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Backfills, verspätete Daten und Wiederanläufe“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Zeitfenster, historische Korrektur, selektive Neubildung, Retry, Reprocessing, Datenabgleich und Auswirkungsbegrenzung identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein ausführbares Backfill-Runbook mit Abnahme- und Abbruchkriterien dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

6. Physisches Design und Warehouse-Optimierung

Schwerpunkt: Partitionierung, Clustering, Sortierung, Verteilung, Dateiformate, materialisierte Sichten, Statistik und Adapterkonfiguration.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Physisches Design und Warehouse-Optimierung“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Partitionierung, Clustering, Sortierung, Verteilung, Dateiformate, materialisierte Sichten, Statistik und Adapterkonfiguration identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein plattformspezifisches Optimierungskonzept für große Modelle dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

7. Testauswahl, Fehleranalyse und Quality Gates

Schwerpunkt: dbt build, indirekte Auswahl, Tags, result-Selektoren, gespeicherte Fehler, Flaky Tests, Quarantäne und CI-Abbruchregeln.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Testauswahl, Fehleranalyse und Quality Gates“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu dbt build, indirekte Auswahl, Tags, result-Selektoren, gespeicherte Fehler, Flaky Tests, Quarantäne und CI-Abbruchregeln identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein abgestuftes Quality-Gate-Modell für Entwicklung, CI und Produktion dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

8. Retry, Idempotenz und Wiederanlauf

Schwerpunkt: fehlgeschlagene Knoten, result-Auswahl, Teilzustände, Retry-Grenzen, Full Refresh, Backfill, Rollback und Datenabgleich.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Retry, Idempotenz und Wiederanlauf“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu fehlgeschlagene Knoten, result-Auswahl, Teilzustände, Retry-Grenzen, Full Refresh, Backfill, Rollback und Datenabgleich identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein abgestuftes Wiederanlaufverfahren für technische und fachliche Fehler dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

Praxisübungen und Laborszenarien

• Implementierung eines Merge-basierten Modells mit verspäteten Aktualisierungen.
• Konfiguration eines Microbatch-Modells mit event_time, Batchgröße und Lookback.
• Durchführung eines begrenzten Backfills einschließlich Vergleich und Rollbackplanung.

Zielgruppe und Voraussetzungen

Zielgruppe: Analytics Engineers, Data Engineers, Data Platform Engineering und Performance-Verantwortliche.

Voraussetzungen: Sichere SQL- und dbt-Core-Kenntnisse; Erfahrung mit Partitionierung oder inkrementellen Ladeverfahren ist hilfreich.

Didaktik und Arbeitsweise

Kurze Fachimpulse werden unmittelbar durch Demonstrationen, geführte Konfigurationsschritte, Code-Reviews und kontrollierte Fehlerfälle vertieft. Jede Übung arbeitet mit einem versionierten Laborprojekt, definierten Prüfpunkten und einer nachvollziehbaren Dokumentation.