Seminar Dataedo Scheduler, Schema Change Tracking und Metadata Sync

Das Seminar vermittelt die wiederholbare Planung, Überwachung und Abstimmung technischer Metadatenprozesse einschließlich Änderungsverfolgung. Im Mittelpunkt stehen reproduzierbare Vorgehensweisen, klare Qualitätskriterien und eine Umsetzung, die sich auf reale Datenlandschaften übertragen lässt.

Inhaltsübersicht

1. Lernziele
2. Zielgruppen und Rollen
3. Voraussetzungen
4. Seminarinhalte
5. Arbeitsschritt 1: Dataedo Agent installieren und anbinden
6. Arbeitsschritt 2: Scheduler, Agent und Aufgabenplanung
7. Arbeitsschritt 3: Schema Change Tracking
8. Arbeitsschritt 4: Metadata Sync und konsistente Katalogstände
9. Arbeitsschritt 5: Backup, Monitoring und regulärer Betrieb
10. Arbeitsschritt 6: Systematische Fehlerdiagnose
11. Praxisübungen
12. Arbeitsunterlagen und Praxisartefakte

Lernziele

• Aufgaben, Abhängigkeiten und Agent-Zuordnung als Verarbeitungskette planen.
• Läufe überwachen und Fehler reproduzierbar behandeln.
• Schemaänderungen zwischen Scans erkennen und priorisieren.
• Metadaten kontrolliert zwischen definierten Bereichen abgleichen.
• Betriebskalender, Benachrichtigung und Eskalation standardisieren.

Zielgruppen und Rollen

Plattformbetrieb, Data Catalog Administration, Data Engineering, Datenbankadministration und technische Data Stewards.

Voraussetzungen

Grundkenntnisse zu Metadatenimporten, Dataedo Agent und betrieblichen Zeitplänen.

Seminarinhalte

Die Inhalte werden in einer durchgängigen Folge aus Einordnung, Vorbereitung, Umsetzung, Kontrolle und Standardisierung bearbeitet.

Arbeitsschritt 1: Dataedo Agent installieren und anbinden

Quellnahe Aufgaben mit einem kontrollierten Dienstkonto und klarer Netzwerkfreigabe ausführen.

1. 1. Ausgangslage klären: Quellnahe Aufgaben mit einem kontrollierten Dienstkonto und klarer Netzwerkfreigabe ausführen.
2. 2. Vorbereitung abschließen: Zielsystem, Dienstkonto, Agenthost, Ports, Zertifikate und Zugriff auf Datenquellen vorbereiten.
3. 3. Konfiguration und Umsetzung durchführen: Agent installieren, registrieren und einer Testaufgabe zuordnen.
4. 4. Ergebnis kontrollieren: Erreichbarkeit, Dienststatus, Protokolle, Quellenzugriff und Neustart kontrollieren.
5. 5. Vorgehen standardisieren: Patchen, Schlüsselwechsel und Störungsbehandlung in ein Betriebsrunbook aufnehmen.

Praxisaufgabe: Ein Agent wird installiert und führt einen vollständigen Testimport aus einer geschützten Zone aus.

Arbeitsschritt 2: Scheduler, Agent und Aufgabenplanung

Wiederkehrende Importe, Lineage- und Qualitätsläufe zuverlässig zeitlich steuern.

1. 1. Ausgangslage klären: Wiederkehrende Importe, Lineage- und Qualitätsläufe zuverlässig zeitlich steuern.
2. 2. Vorbereitung abschließen: Aufgabentypen, Abhängigkeiten, Zeitfenster, Agent-Zuordnung und Fehlerreaktion festlegen.
3. 3. Konfiguration und Umsetzung durchführen: Aufgaben anlegen, Reihenfolge konfigurieren, Lauf starten und Protokolle auswerten.
4. 4. Ergebnis kontrollieren: Laufstatus, Dauer, Abhängigkeiten, Wiederholung und Benachrichtigung kontrollieren.
5. 5. Vorgehen standardisieren: Betriebskalender, Namensschema und Eskalation für fehlgeschlagene Aufgaben definieren.

Praxisaufgabe: Eine mehrstufige Nachtverarbeitung wird geplant, ausgeführt und mit einem Fehlerfall getestet.

Arbeitsschritt 3: Schema Change Tracking

Strukturänderungen zwischen Metadatenständen erkennen, bewerten und nachvollziehbar behandeln.

1. 1. Ausgangslage klären: Strukturänderungen zwischen Metadatenständen erkennen, bewerten und nachvollziehbar behandeln.
2. 2. Vorbereitung abschließen: Vergleichsintervall, relevante Objektarten, Kritikalität und zuständige Rollen festlegen.
3. 3. Konfiguration und Umsetzung durchführen: Zwei Scans ausführen, Änderungen vergleichen und neue, geänderte sowie entfernte Objekte klassifizieren.
4. 4. Ergebnis kontrollieren: Falsch positive Befunde, abhängige Dokumentation und mögliche Lineage-Auswirkungen prüfen.
5. 5. Vorgehen standardisieren: Änderungsbericht, Freigabe und Nachpflege als Governance-Ablauf standardisieren.

Praxisaufgabe: Eine geplante und eine unerwartete Schemaänderung werden erkannt und getrennt bearbeitet.

Arbeitsschritt 4: Metadata Sync und konsistente Katalogstände

Metadaten zwischen Bereichen oder Umgebungen kontrolliert abgleichen, ohne Verantwortungsgrenzen zu verwischen.

1. 1. Ausgangslage klären: Metadaten zwischen Bereichen oder Umgebungen kontrolliert abgleichen, ohne Verantwortungsgrenzen zu verwischen.
2. 2. Vorbereitung abschließen: Quelle, Ziel, Synchronisationsumfang, Konfliktregel und Eigentümerschaft definieren.
3. 3. Konfiguration und Umsetzung durchführen: Synchronisation konfigurieren, Testobjekte übertragen und einen erneuten Lauf ausführen.
4. 4. Ergebnis kontrollieren: Vollständigkeit, Überschreibungen, Konflikte und Verhalten bei gelöschten Objekten prüfen.
5. 5. Vorgehen standardisieren: Freigabe, Laufplan, Protokollierung und Rückfallverfahren dokumentieren.

Praxisaufgabe: Ein definierter Metadatenausschnitt wird synchronisiert und anhand eines Konfliktfalls abgesichert.

Arbeitsschritt 5: Backup, Monitoring und regulärer Betrieb

Verfügbarkeit, Wiederanlauf und nachvollziehbare Betriebsabläufe sicherstellen.

1. 1. Ausgangslage klären: Verfügbarkeit, Wiederanlauf und nachvollziehbare Betriebsabläufe sicherstellen.
2. 2. Vorbereitung abschließen: Überwachungswerte, Logquellen, Sicherungsintervalle und Eskalationsstufen festlegen.
3. 3. Konfiguration und Umsetzung durchführen: Sicherungen konfigurieren, relevante Protokolle auswerten und einen Wiederanlauf simulieren.
4. 4. Ergebnis kontrollieren: Wiederherstellbarkeit, Speicherverbrauch, Laufzeiten und Fehlerbenachrichtigungen kontrollieren.
5. 5. Vorgehen standardisieren: Runbook, Bereitschaftsweg, Wartungsfenster und regelmäßige Funktionstests vereinbaren.

Praxisaufgabe: Ein Betriebsstörungsfall wird vom Alarm bis zur dokumentierten Wiederherstellung bearbeitet.

Arbeitsschritt 6: Systematische Fehlerdiagnose

Störungen reproduzierbar eingrenzen und mit verwertbaren Diagnoseinformationen bearbeiten.

1. 1. Ausgangslage klären: Störungen reproduzierbar eingrenzen und mit verwertbaren Diagnoseinformationen bearbeiten.
2. 2. Vorbereitung abschließen: Fehlerbild, Zeitpunkt, betroffene Komponente, letzte Änderung und Reproduktionsschritte erfassen.
3. 3. Konfiguration und Umsetzung durchführen: Protokolle sammeln, Abhängigkeiten prüfen, Hypothesen priorisieren und kontrollierte Tests durchführen.
4. 4. Ergebnis kontrollieren: Ursache, Nebenwirkung und Wirksamkeit der Korrektur durch Wiederholung des Testfalls bestätigen.
5. 5. Vorgehen standardisieren: Diagnoseprotokoll, Wissenseintrag und Präventionsmaßnahme dokumentieren.

Praxisaufgabe: Mehrere typische Fehlerbilder werden mit einer einheitlichen Diagnosemethode untersucht.

Praxisübungen

1. Übung 1: Planung einer mehrstufigen Nachtverarbeitung.
2. Übung 2: Analyse eines fehlgeschlagenen Aufgabenlaufs.
3. Übung 3: Bewertung geplanter und unerwarteter Schemaänderungen.
4. Übung 4: Synchronisation mit bewusst erzeugtem Konfliktfall.

Arbeitsunterlagen und Praxisartefakte

Im Seminar entstehen wiederverwendbare Arbeitsunterlagen für Planung, Umsetzung, Qualitätssicherung und Betrieb.

• Aufgabenplan
• Agent-Zuordnungsmatrix
• Änderungsbericht
• Sync-Betriebsblatt
• Eskalationsweg