Seminar Open Data Discovery Platform (ODD) – Custom Collectors und Ingestion API

Der Workshop führt vollständig durch die Entwicklung einer eigenen Metadatenintegration für eine nicht oder nur unvollständig unterstützte Quelle. Das Ergebnis ist ein nachvollziehbar modellierter, getesteter und betreibbarer Collector-Prototyp mit klaren Datenverträgen und Abnahmekriterien.

Inhaltsverzeichnis

1. Lernziele
2. Zielgruppe
3. Kapitel 1: Anforderungsanalyse und Quellmodell
4. Kapitel 2: ODD Specification und ODDRN-Mapping
5. Kapitel 3: Collector-Architektur und Implementierung
6. Kapitel 4: Ingestion API und sichere Übertragung
7. Kapitel 5: Teststrategie und Datenqualität
8. Kapitel 6: Packaging, Deployment und Betrieb
9. Praxisübungen
10. Voraussetzungen und Anschluss

Lernziele

• Quellmetadaten in das ODD-Modell übersetzen
• stabile ODDRN-Konventionen entwerfen
• Collector-Komponenten modular implementieren
• Ingestion-Payloads validieren und sicher übertragen
• Tests, Packaging, Monitoring und Betriebsübergabe umsetzen

Zielgruppe

Softwareentwicklung, Data Engineering, Integrationsentwicklung, Plattformengineering und technische Datenarchitektur.

Kapitel 1: Anforderungsanalyse und Quellmodell

Inhaltsverzeichnis dieses Kapitels

1. Quellenobjekte, Hierarchien und Identitäten
2. Schemata, Felder und Beschreibungen
3. Abhängigkeiten und Lineage
4. Änderungserkennung und Löschlogik
5. Schritt-für-Schritt-Umsetzung

Die Quelle wird technisch und fachlich so zerlegt, dass ein belastbarer Metadatenvertrag entsteht.

1. Quellenobjekte, Hierarchien und Identitäten

Der Themenbereich wird fachlich eingeordnet, anhand eines repräsentativen Plattformszenarios demonstriert und mit Qualitäts-, Sicherheits- sowie Betriebskriterien verknüpft. Abhängigkeiten, verantwortliche Rollen und typische Fehlannahmen werden dabei ausdrücklich dokumentiert.

2. Schemata, Felder und Beschreibungen

Der Themenbereich wird fachlich eingeordnet, anhand eines repräsentativen Plattformszenarios demonstriert und mit Qualitäts-, Sicherheits- sowie Betriebskriterien verknüpft. Abhängigkeiten, verantwortliche Rollen und typische Fehlannahmen werden dabei ausdrücklich dokumentiert.

3. Abhängigkeiten und Lineage

Der Themenbereich wird fachlich eingeordnet, anhand eines repräsentativen Plattformszenarios demonstriert und mit Qualitäts-, Sicherheits- sowie Betriebskriterien verknüpft. Abhängigkeiten, verantwortliche Rollen und typische Fehlannahmen werden dabei ausdrücklich dokumentiert.

4. Änderungserkennung und Löschlogik

Der Themenbereich wird fachlich eingeordnet, anhand eines repräsentativen Plattformszenarios demonstriert und mit Qualitäts-, Sicherheits- sowie Betriebskriterien verknüpft. Abhängigkeiten, verantwortliche Rollen und typische Fehlannahmen werden dabei ausdrücklich dokumentiert.

Schritt für Schritt

1. repräsentative Quellobjekte und APIs untersuchen
2. Objekttypen und stabile Primärmerkmale erfassen
3. Beziehungen und Abhängigkeiten als Graph skizzieren
4. Änderungs- und Löschsignale bestimmen
5. Soll-Payloads für typische und schwierige Fälle formulieren

Kontrollpunkte

• Ergebnis ist fachlich und technisch nachvollziehbar.
• Verantwortung, Voraussetzungen und Abhängigkeiten sind benannt.
• Fehlerfälle, Rückfalloptionen und Nachkontrolle sind dokumentiert.

Kapitel 2: ODD Specification und ODDRN-Mapping

Inhaltsverzeichnis dieses Kapitels

1. Entitätstypen und Attribute
2. ODDRN-Segmente und Normalisierung
3. Schemafelder und verschachtelte Strukturen
4. Lineage, Gruppen und Zusatzmetadaten
5. Schritt-für-Schritt-Umsetzung

Quellobjekte werden eindeutig und konsistent in Plattformentitäten übersetzt.

1. Entitätstypen und Attribute

Der Themenbereich wird fachlich eingeordnet, anhand eines repräsentativen Plattformszenarios demonstriert und mit Qualitäts-, Sicherheits- sowie Betriebskriterien verknüpft. Abhängigkeiten, verantwortliche Rollen und typische Fehlannahmen werden dabei ausdrücklich dokumentiert.

2. ODDRN-Segmente und Normalisierung

Der Themenbereich wird fachlich eingeordnet, anhand eines repräsentativen Plattformszenarios demonstriert und mit Qualitäts-, Sicherheits- sowie Betriebskriterien verknüpft. Abhängigkeiten, verantwortliche Rollen und typische Fehlannahmen werden dabei ausdrücklich dokumentiert.

3. Schemafelder und verschachtelte Strukturen

Der Themenbereich wird fachlich eingeordnet, anhand eines repräsentativen Plattformszenarios demonstriert und mit Qualitäts-, Sicherheits- sowie Betriebskriterien verknüpft. Abhängigkeiten, verantwortliche Rollen und typische Fehlannahmen werden dabei ausdrücklich dokumentiert.

4. Lineage, Gruppen und Zusatzmetadaten

Der Themenbereich wird fachlich eingeordnet, anhand eines repräsentativen Plattformszenarios demonstriert und mit Qualitäts-, Sicherheits- sowie Betriebskriterien verknüpft. Abhängigkeiten, verantwortliche Rollen und typische Fehlannahmen werden dabei ausdrücklich dokumentiert.

Schritt für Schritt

1. Mapping-Tabelle Quelle zu ODD-Entität erstellen
2. ODDRN-Konvention für jede Hierarchiestufe definieren
3. Feldtypen und optionale Attribute abbilden
4. Beziehungen mit Quell- und Zielidentität ergänzen
5. Mapping mit Grenzfällen und Kollisionstests validieren

Kontrollpunkte

• Ergebnis ist fachlich und technisch nachvollziehbar.
• Verantwortung, Voraussetzungen und Abhängigkeiten sind benannt.
• Fehlerfälle, Rückfalloptionen und Nachkontrolle sind dokumentiert.

Kapitel 3: Collector-Architektur und Implementierung

Inhaltsverzeichnis dieses Kapitels

1. Konfiguration und Geheimnisse
2. Quellclient und Pagination
3. Mapper und Payload-Erzeugung
4. Checkpointing, Wiederholung und Teilfehler
5. Schritt-für-Schritt-Umsetzung

Der Collector wird in klar getrennte Komponenten für Zugriff, Extraktion, Mapping und Versand gegliedert.

1. Konfiguration und Geheimnisse

Der Themenbereich wird fachlich eingeordnet, anhand eines repräsentativen Plattformszenarios demonstriert und mit Qualitäts-, Sicherheits- sowie Betriebskriterien verknüpft. Abhängigkeiten, verantwortliche Rollen und typische Fehlannahmen werden dabei ausdrücklich dokumentiert.

2. Quellclient und Pagination

Der Themenbereich wird fachlich eingeordnet, anhand eines repräsentativen Plattformszenarios demonstriert und mit Qualitäts-, Sicherheits- sowie Betriebskriterien verknüpft. Abhängigkeiten, verantwortliche Rollen und typische Fehlannahmen werden dabei ausdrücklich dokumentiert.

3. Mapper und Payload-Erzeugung

Der Themenbereich wird fachlich eingeordnet, anhand eines repräsentativen Plattformszenarios demonstriert und mit Qualitäts-, Sicherheits- sowie Betriebskriterien verknüpft. Abhängigkeiten, verantwortliche Rollen und typische Fehlannahmen werden dabei ausdrücklich dokumentiert.

4. Checkpointing, Wiederholung und Teilfehler

Der Themenbereich wird fachlich eingeordnet, anhand eines repräsentativen Plattformszenarios demonstriert und mit Qualitäts-, Sicherheits- sowie Betriebskriterien verknüpft. Abhängigkeiten, verantwortliche Rollen und typische Fehlannahmen werden dabei ausdrücklich dokumentiert.

Schritt für Schritt

1. Projektstruktur und Konfigurationsschema anlegen
2. Quellzugriff mit Zeitüberschreitung und Pagination implementieren
3. Rohdaten in interne Modelle überführen
4. ODD-Payloads deterministisch erzeugen
5. Checkpoint und Wiederanlauf für unterbrochene Läufe ergänzen

Kontrollpunkte

• Ergebnis ist fachlich und technisch nachvollziehbar.
• Verantwortung, Voraussetzungen und Abhängigkeiten sind benannt.
• Fehlerfälle, Rückfalloptionen und Nachkontrolle sind dokumentiert.

Kapitel 4: Ingestion API und sichere Übertragung

Inhaltsverzeichnis dieses Kapitels

1. Maschinenidentität und Token
2. Batching und Datenmengen
3. Antwortcodes und Validierungsfehler
4. Idempotenz und Laufkorrelation
5. Schritt-für-Schritt-Umsetzung

Payloads werden authentifiziert, portioniert und mit nachvollziehbarer Fehlerbehandlung übertragen.

1. Maschinenidentität und Token

Der Themenbereich wird fachlich eingeordnet, anhand eines repräsentativen Plattformszenarios demonstriert und mit Qualitäts-, Sicherheits- sowie Betriebskriterien verknüpft. Abhängigkeiten, verantwortliche Rollen und typische Fehlannahmen werden dabei ausdrücklich dokumentiert.

2. Batching und Datenmengen

Der Themenbereich wird fachlich eingeordnet, anhand eines repräsentativen Plattformszenarios demonstriert und mit Qualitäts-, Sicherheits- sowie Betriebskriterien verknüpft. Abhängigkeiten, verantwortliche Rollen und typische Fehlannahmen werden dabei ausdrücklich dokumentiert.

3. Antwortcodes und Validierungsfehler

Der Themenbereich wird fachlich eingeordnet, anhand eines repräsentativen Plattformszenarios demonstriert und mit Qualitäts-, Sicherheits- sowie Betriebskriterien verknüpft. Abhängigkeiten, verantwortliche Rollen und typische Fehlannahmen werden dabei ausdrücklich dokumentiert.

4. Idempotenz und Laufkorrelation

Der Themenbereich wird fachlich eingeordnet, anhand eines repräsentativen Plattformszenarios demonstriert und mit Qualitäts-, Sicherheits- sowie Betriebskriterien verknüpft. Abhängigkeiten, verantwortliche Rollen und typische Fehlannahmen werden dabei ausdrücklich dokumentiert.

Schritt für Schritt

1. technische Identität und Berechtigungsumfang festlegen
2. Payload lokal gegen Pflichtregeln prüfen
3. geeignete Batchgröße und Laufkennung setzen
4. Übertragung mit Retry nur für geeignete Fehlerklassen ausführen
5. Antworten und abgelehnte Objekte getrennt protokollieren

Kontrollpunkte

• Ergebnis ist fachlich und technisch nachvollziehbar.
• Verantwortung, Voraussetzungen und Abhängigkeiten sind benannt.
• Fehlerfälle, Rückfalloptionen und Nachkontrolle sind dokumentiert.

Kapitel 5: Teststrategie und Datenqualität

Inhaltsverzeichnis dieses Kapitels

1. Unit-Tests für Parser und Mapper
2. Vertragstests für Payloads
3. Integrationstests gegen Testplattform
4. Regression, Performance und Datenmengen
5. Schritt-für-Schritt-Umsetzung

Automatisierte Tests sichern Modelltreue, Stabilität und korrekte Beziehungen.

1. Unit-Tests für Parser und Mapper

Der Themenbereich wird fachlich eingeordnet, anhand eines repräsentativen Plattformszenarios demonstriert und mit Qualitäts-, Sicherheits- sowie Betriebskriterien verknüpft. Abhängigkeiten, verantwortliche Rollen und typische Fehlannahmen werden dabei ausdrücklich dokumentiert.

2. Vertragstests für Payloads

Der Themenbereich wird fachlich eingeordnet, anhand eines repräsentativen Plattformszenarios demonstriert und mit Qualitäts-, Sicherheits- sowie Betriebskriterien verknüpft. Abhängigkeiten, verantwortliche Rollen und typische Fehlannahmen werden dabei ausdrücklich dokumentiert.

3. Integrationstests gegen Testplattform

Der Themenbereich wird fachlich eingeordnet, anhand eines repräsentativen Plattformszenarios demonstriert und mit Qualitäts-, Sicherheits- sowie Betriebskriterien verknüpft. Abhängigkeiten, verantwortliche Rollen und typische Fehlannahmen werden dabei ausdrücklich dokumentiert.

4. Regression, Performance und Datenmengen

Der Themenbereich wird fachlich eingeordnet, anhand eines repräsentativen Plattformszenarios demonstriert und mit Qualitäts-, Sicherheits- sowie Betriebskriterien verknüpft. Abhängigkeiten, verantwortliche Rollen und typische Fehlannahmen werden dabei ausdrücklich dokumentiert.

Schritt für Schritt

1. Testkatalog aus Quellvarianten ableiten
2. Golden Files für erwartete Payloads erstellen
3. Mapping und ODDRN deterministisch testen
4. vollständigen Testlauf gegen isolierte Umgebung ausführen
5. Regression und Laufzeitgrenzen in die Pipeline aufnehmen

Kontrollpunkte

• Ergebnis ist fachlich und technisch nachvollziehbar.
• Verantwortung, Voraussetzungen und Abhängigkeiten sind benannt.
• Fehlerfälle, Rückfalloptionen und Nachkontrolle sind dokumentiert.

Kapitel 6: Packaging, Deployment und Betrieb

Inhaltsverzeichnis dieses Kapitels

1. Containerisierung und Abhängigkeiten
2. Konfigurations- und Geheimnisbereitstellung
3. Metriken, Logs und Alarmierung
4. Release, Rollback und Dokumentation
5. Schritt-für-Schritt-Umsetzung

Der Prototyp wird zu einem wartbaren Betriebsbaustein mit klaren Verantwortungen weiterentwickelt.

1. Containerisierung und Abhängigkeiten

Der Themenbereich wird fachlich eingeordnet, anhand eines repräsentativen Plattformszenarios demonstriert und mit Qualitäts-, Sicherheits- sowie Betriebskriterien verknüpft. Abhängigkeiten, verantwortliche Rollen und typische Fehlannahmen werden dabei ausdrücklich dokumentiert.

2. Konfigurations- und Geheimnisbereitstellung

Der Themenbereich wird fachlich eingeordnet, anhand eines repräsentativen Plattformszenarios demonstriert und mit Qualitäts-, Sicherheits- sowie Betriebskriterien verknüpft. Abhängigkeiten, verantwortliche Rollen und typische Fehlannahmen werden dabei ausdrücklich dokumentiert.

3. Metriken, Logs und Alarmierung

Der Themenbereich wird fachlich eingeordnet, anhand eines repräsentativen Plattformszenarios demonstriert und mit Qualitäts-, Sicherheits- sowie Betriebskriterien verknüpft. Abhängigkeiten, verantwortliche Rollen und typische Fehlannahmen werden dabei ausdrücklich dokumentiert.

4. Release, Rollback und Dokumentation

Der Themenbereich wird fachlich eingeordnet, anhand eines repräsentativen Plattformszenarios demonstriert und mit Qualitäts-, Sicherheits- sowie Betriebskriterien verknüpft. Abhängigkeiten, verantwortliche Rollen und typische Fehlannahmen werden dabei ausdrücklich dokumentiert.

Schritt für Schritt

1. reproduzierbares Build und unveränderliches Artefakt erstellen
2. Konfiguration je Umgebung trennen
3. Metriken für Laufdauer, Objekte und Fehler ergänzen
4. Deployment mit Gesundheitsprüfung und Ressourcenlimits definieren
5. Betriebshandbuch, Releaseprozess und Rückfallplan abnehmen

Kontrollpunkte

• Ergebnis ist fachlich und technisch nachvollziehbar.
• Verantwortung, Voraussetzungen und Abhängigkeiten sind benannt.
• Fehlerfälle, Rückfalloptionen und Nachkontrolle sind dokumentiert.

Praxisübungen

1. Quellmodell und Mapping-Spezifikation erstellen
2. ODDRN-Konvention mit Grenzfällen testen
3. Collector-Prototyp implementieren
4. Ingestion-Lauf mit Fehlerfällen ausführen
5. automatisierte Tests und Betriebsübergabe vorbereiten

Voraussetzungen und Anschluss

Voraussetzungen: Sichere Programmierkenntnisse, Erfahrung mit APIs und JSON sowie Grundlagen der ODD Specification.

Anschluss: Danach empfiehlt sich API und Automatisierung oder Troubleshooting, Monitoring, Backup und Upgrade.