Seminar DataHub Architektur und Metadatenmodell

Die Architektur wird nicht als Sammlung einzelner Container, sondern als zusammenhängendes Metadatensystem betrachtet. Das Verständnis von Entitäten, Aspects, URNs und Ereignissen bildet die Grundlage für Ingestion, APIs, Lineage, Governance und Betrieb.

Lernziele

• Zentrale Dienste und ihre Aufgaben im Gesamtsystem erklären
• Entitäten, Aspects, Beziehungen und URNs sicher unterscheiden
• Metadatenänderungen und Indexaktualisierungen nachvollziehen
• Reale Datenplattformen konsistent auf das Modell abbilden
• Modellierungsfehler vor der Implementierung erkennen

Zielgruppe

Solution Architects, Data Architects, Dateningenieure, Integrationsentwickler und Plattformteams.

Voraussetzungen

Grundverständnis moderner Datenplattformen und verteilter Anwendungen. Programmierkenntnisse sind für die Modellierungsübungen nicht erforderlich.

Inhaltsübersicht

1. Kapitel 1: Systemarchitektur und Komponenten
2. Kapitel 2: Metadata Graph und Identitäten
3. Kapitel 3: Aspects und Metadatenzustand
4. Kapitel 4: Ereignisse und Indexierung
5. Kapitel 5: Modellierungswerkstatt

Kapitel 1: Systemarchitektur und Komponenten

Inhaltsübersicht dieses Kapitels: Dienstrollen zuordnen; Anfragewege verfolgen; Ausfallfolgen bewerten.

Schritt 1: Dienstrollen zuordnen

Frontend, Metadata Service, Datenbank, Suchindex und Ereignisverarbeitung werden nach Aufgabe, Zustandsverantwortung und Abhängigkeiten eingeordnet. Vor der Umsetzung werden Voraussetzungen, betroffene Objekte und erwartete Ergebnisse festgehalten. Die Ausführung erfolgt in einer abgegrenzten Übungsumgebung und endet mit einer dokumentierten Soll-Ist-Prüfung.

Schritt 2: Anfragewege verfolgen

Eine Suche, eine Metadatenänderung und ein Ingestion-Lauf werden jeweils vom Eingang bis zur sichtbaren Oberfläche verfolgt. Konfiguration, Zuständigkeit und mögliche Fehlerbilder werden ausdrücklich berücksichtigt. Das Ergebnis wird mit technischen und fachlichen Prüfkriterien bewertet und als wiederverwendbarer Arbeitsschritt dokumentiert.

Schritt 3: Ausfallfolgen bewerten

Wiederanlaufabhängigkeiten und Nutzerwirkungen werden für jede Kernkomponente beschrieben. Abweichungen werden nicht durch pauschale Wiederholung verdeckt, sondern nach Ursache, Auswirkung und Korrekturweg eingeordnet. Eine abschließende Kontrolle bestätigt, dass der Arbeitsschritt reproduzierbar ausgeführt werden kann.

Kapitel 2: Metadata Graph und Identitäten

Inhaltsübersicht dieses Kapitels: Entitäten klassifizieren; URNs konstruieren; Beziehungen lesen.

Schritt 1: Entitäten klassifizieren

Datasets, Container, Dashboards, Charts, Jobs, Benutzer, Gruppen, Domains und Datenprodukte werden ihren fachlichen Rollen zugeordnet. Vor der Umsetzung werden Voraussetzungen, betroffene Objekte und erwartete Ergebnisse festgehalten. Die Ausführung erfolgt in einer abgegrenzten Übungsumgebung und endet mit einer dokumentierten Soll-Ist-Prüfung.

Schritt 2: URNs konstruieren

Plattform, Instanz, Name und Umgebung werden nach stabilen Konventionen zusammengesetzt; Identitätswechsel durch unklare Namensbildung werden vermieden. Konfiguration, Zuständigkeit und mögliche Fehlerbilder werden ausdrücklich berücksichtigt. Das Ergebnis wird mit technischen und fachlichen Prüfkriterien bewertet und als wiederverwendbarer Arbeitsschritt dokumentiert.

Schritt 3: Beziehungen lesen

Ownership, Lineage, Zugehörigkeit, Tags und Begriffe werden als gerichtete Beziehungen im Graph verstanden. Abweichungen werden nicht durch pauschale Wiederholung verdeckt, sondern nach Ursache, Auswirkung und Korrekturweg eingeordnet. Eine abschließende Kontrolle bestätigt, dass der Arbeitsschritt reproduzierbar ausgeführt werden kann.

Kapitel 3: Aspects und Metadatenzustand

Inhaltsübersicht dieses Kapitels: Aspects trennen; Änderungsumfang bestimmen; Lebenszyklus abbilden.

Schritt 1: Aspects trennen

Technische, editierbare und governancebezogene Angaben werden als getrennte Metadatenbausteine behandelt. Vor der Umsetzung werden Voraussetzungen, betroffene Objekte und erwartete Ergebnisse festgehalten. Die Ausführung erfolgt in einer abgegrenzten Übungsumgebung und endet mit einer dokumentierten Soll-Ist-Prüfung.

Schritt 2: Änderungsumfang bestimmen

Nur der betroffene Aspect wird aktualisiert; vollständige Überschreibungen ohne Kenntnis des Ist-Zustands werden vermieden. Konfiguration, Zuständigkeit und mögliche Fehlerbilder werden ausdrücklich berücksichtigt. Das Ergebnis wird mit technischen und fachlichen Prüfkriterien bewertet und als wiederverwendbarer Arbeitsschritt dokumentiert.

Schritt 3: Lebenszyklus abbilden

Erstellung, Aktualisierung, Ausblendung, Löschung und Wiederaufnahme werden als definierte Zustandsfolge dokumentiert. Abweichungen werden nicht durch pauschale Wiederholung verdeckt, sondern nach Ursache, Auswirkung und Korrekturweg eingeordnet. Eine abschließende Kontrolle bestätigt, dass der Arbeitsschritt reproduzierbar ausgeführt werden kann.

Kapitel 4: Ereignisse und Indexierung

Inhaltsübersicht dieses Kapitels: Änderungsvorschläge verstehen; Folgeereignisse einordnen; Konsistenz prüfen.

Schritt 1: Änderungsvorschläge verstehen

Metadatenänderungen werden als gezielte Vorschläge an den Metadata Service mit klarer Validierungs- und Speicherphase betrachtet. Vor der Umsetzung werden Voraussetzungen, betroffene Objekte und erwartete Ergebnisse festgehalten. Die Ausführung erfolgt in einer abgegrenzten Übungsumgebung und endet mit einer dokumentierten Soll-Ist-Prüfung.

Schritt 2: Folgeereignisse einordnen

Nach einer Änderung werden Aktualisierungen für Suche und nachgelagerte Verbraucher nachvollzogen. Konfiguration, Zuständigkeit und mögliche Fehlerbilder werden ausdrücklich berücksichtigt. Das Ergebnis wird mit technischen und fachlichen Prüfkriterien bewertet und als wiederverwendbarer Arbeitsschritt dokumentiert.

Schritt 3: Konsistenz prüfen

Graphzustand, Suchindex und Oberfläche werden bei Abweichungen mit einer festen Prüfreihenfolge verglichen. Abweichungen werden nicht durch pauschale Wiederholung verdeckt, sondern nach Ursache, Auswirkung und Korrekturweg eingeordnet. Eine abschließende Kontrolle bestätigt, dass der Arbeitsschritt reproduzierbar ausgeführt werden kann.

Kapitel 5: Modellierungswerkstatt

Inhaltsübersicht dieses Kapitels: Quellsystem inventarisieren; Zielmodell entwerfen; Modell validieren.

Schritt 1: Quellsystem inventarisieren

Eine Beispielplattform mit Datenbanken, Schemas, Tabellen, Jobs und Dashboards wird vollständig aufgenommen. Vor der Umsetzung werden Voraussetzungen, betroffene Objekte und erwartete Ergebnisse festgehalten. Die Ausführung erfolgt in einer abgegrenzten Übungsumgebung und endet mit einer dokumentierten Soll-Ist-Prüfung.

Schritt 2: Zielmodell entwerfen

Objekttypen, URNs, Beziehungen und Verantwortlichkeiten werden in einer Modellkarte festgelegt. Konfiguration, Zuständigkeit und mögliche Fehlerbilder werden ausdrücklich berücksichtigt. Das Ergebnis wird mit technischen und fachlichen Prüfkriterien bewertet und als wiederverwendbarer Arbeitsschritt dokumentiert.

Schritt 3: Modell validieren

Stabilität, Eindeutigkeit, Erweiterbarkeit und Auswirkungen auf Suche und Lineage werden anhand einer Prüfliste bewertet. Abweichungen werden nicht durch pauschale Wiederholung verdeckt, sondern nach Ursache, Auswirkung und Korrekturweg eingeordnet. Eine abschließende Kontrolle bestätigt, dass der Arbeitsschritt reproduzierbar ausgeführt werden kann.

Praxisübungen

Inhaltsübersicht dieses Kapitels: Anwendung, Prüfung und Dokumentation der behandelten Arbeitsschritte.

1. Nachverfolgung einer Metadatenänderung durch die Systemkomponenten
2. Konstruktion stabiler URNs für mehrere Umgebungen
3. Zuordnung technischer und editierbarer Aspects
4. Entwurf eines Metadatenmodells für eine Beispiel-Datenplattform

Methodik

Inhaltsübersicht dieses Kapitels: Vermittlungsform, Übungsorganisation und Qualitätssicherung.

Architekturdiagramme, Modellkarten und konkrete Objektbeispiele werden schrittweise aufgebaut. Technische Begriffe werden stets mit einem Integrations- oder Betriebsfall verknüpft.