Seminar sovity Intensivseminar – Connector, Datenangebote und Integration

Inhaltsverzeichnis

1. Zielsetzung
2. Zielgruppe
3. Voraussetzungen
4. Seminarinhalte
   1. Modul 1: Rollen, Zielbild und Austauschbeziehungen
   2. Modul 2: Use Case, Datenprodukt und Umsetzungsplan
   3. Modul 3: Community Edition und Zwei-Connector-Labor
   4. Modul 4: Connector-Endpunkte und Laufzeitkonfiguration
   5. Modul 5: Assets, Identifikatoren und technische Datenadressen
   6. Modul 6: Metadaten und semantische Auffindbarkeit
   7. Modul 7: Access Policies und Contract Policies
   8. Modul 8: Contract Definition und Veröffentlichung
   9. Modul 9: Katalogsuche und Angebotsbewertung
   10. Modul 10: Vertragsverhandlung und Contract Agreement
   11. Modul 11: Push-, Pull- und speicherbasierte Transfers
   12. Modul 12: HTTP-, API- und Dateiquellen
   13. Modul 13: AWS S3 und Azure Blob Storage
   14. Modul 14: Produktionsarchitektur und Data-Plane-Topologie
   15. Modul 15: Reverse Proxy, DNS und TLS
   16. Modul 16: PostgreSQL, Vault und Geheimnisse
   17. Modul 17: Health Checks, Metriken und strukturierte Logs
   18. Modul 18: Catena-X- und Tractus-X-nahe Integration
5. Praxisübungen
6. Methodik

Zielsetzung

Das fünftägige Intensivseminar bündelt Architektur- und Use-Case-Planung, Community Edition, Connector-Konfiguration, Assets, Metadaten, Policies, Contract Definitions, Katalog, Vertragsverhandlung, Transferarten, HTTP-/Dateiquellen, AWS S3, Azure Blob, Catena-X-/Tractus-X-Aspekte und produktive Connector-Bereitstellung. Ein durchgängiges Anbieter-Konsumenten-Szenario wird bis zur Betriebsabnahme umgesetzt.

Zielgruppe

Connector-Administratoren, Integration Engineers, Solution Architects, Data Product Owner, DevOps Engineers und technische Plattformteams.

Voraussetzungen

Grundkenntnisse von APIs, Containern und Datenintegration; DNS-, TLS- und Datenbankkenntnisse sind hilfreich.

Seminarinhalte

Die Themen werden in der angegebenen Reihenfolge aufgebaut. Jeder Schritt setzt auf dem zuvor geprüften Systemzustand auf.

Modul 1: Rollen, Zielbild und Austauschbeziehungen

Die organisatorische Ausgangslage wird in ein eindeutiges Rollen- und Architekturmodell überführt.

1. Schritt 1: Datenanbieter, Datenkonsument, Data Space Authority, Betreiber und Servicepartner voneinander abgrenzen.
2. Schritt 2: Datenobjekte, Gegenstellen, Austauschhäufigkeit und geschäftlichen Nutzen in einer Use-Case-Matrix erfassen.
3. Schritt 3: Connector, Portal, Katalog, Identity Provider und Registry den verantwortlichen Rollen zuordnen.
4. Schritt 4: Offene Architektur- und Governance-Entscheidungen priorisieren und als Freigabepunkte dokumentieren.

Modul 2: Use Case, Datenprodukt und Umsetzungsplan

Aus einer fachlichen Idee entsteht ein begrenzter, technisch prüfbarer Pilotumfang.

1. Schritt 1: Datenprodukt, Version, Quelle, Ziel, Format, Volumen und Schutzbedarf festlegen.
2. Schritt 2: Transferart, Vertragsbedingungen und erforderliche Identitätsmerkmale auswählen.
3. Schritt 3: Nichtfunktionale Kriterien für Verfügbarkeit, Wiederanlauf, Sicherheit und Leistung quantifizieren.
4. Schritt 4: Arbeitspakete, Pilotpartner, Testdaten, Verantwortliche und Abnahmekriterien in eine Roadmap überführen.

Modul 3: Community Edition und Zwei-Connector-Labor

Eine reproduzierbare Arbeitsumgebung bildet die Grundlage für alle weiteren Übungen.

1. Schritt 1: Container-Laufzeit, Java-, Node- und Buildwerkzeuge sowie freie Ports und Systemressourcen prüfen.
2. Schritt 2: PostgreSQL und zwei voneinander getrennte Connectorinstanzen starten.
3. Schritt 3: Startprotokolle, Datenbankmigrationen und Health-Endpunkte auf einen fehlerfreien Grundzustand prüfen.
4. Schritt 4: Anbieter- und Konsumentenrolle mit einem ersten technischen Ende-zu-Ende-Test bestätigen.

Modul 4: Connector-Endpunkte und Laufzeitkonfiguration

Management-, Protokoll-, öffentliche und Statuszugriffe werden nachvollziehbar getrennt.

1. Schritt 1: Teilnehmerkennung, Connector-ID, Hostnamen, Ports und Datenbankverbindungen festlegen.
2. Schritt 2: Control Plane und integrierte oder eigenständige Data Plane korrekt koppeln.
3. Schritt 3: Umgebungsspezifische Werte, Geheimnisse und versionsfähige Konfiguration voneinander trennen.
4. Schritt 4: Erreichbarkeit, TLS-Verhalten und Data-Plane-Registrierung mit definierten Prüfaufrufen kontrollieren.

Modul 5: Assets, Identifikatoren und technische Datenadressen

Fachliches Datenprodukt und technische Bereitstellung werden unabhängig modelliert.

1. Schritt 1: Stabile Asset-ID, Version, Domäne und Lebenszyklusstatus nach einer Namenskonvention festlegen.
2. Schritt 2: Granularität so wählen, dass Policies und Transfers ohne unnötige Kopplung möglich bleiben.
3. Schritt 3: Quelltyp, Endpunkt, Methode, Format und statische beziehungsweise dynamische Parameter konfigurieren.
4. Schritt 4: Zugangsdaten nur als Secret- oder Vault-Referenz hinterlegen und Quelle mit Positiv- und Negativfall prüfen.

Modul 6: Metadaten und semantische Auffindbarkeit

Die Beschreibung des Datenprodukts wird für Suche, Bewertung und automatisierte Verarbeitung strukturiert.

1. Schritt 1: Titel, Beschreibung, Schlüsselwörter, Datenformat, Aktualität und fachlichen Geltungsbereich definieren.
2. Schritt 2: Pflichtfelder, organisationsspezifische Erweiterungen und kontrollierte Werte in einem Profil festhalten.
3. Schritt 3: JSON-LD-Kontexte und DCAT-nahe Eigenschaften konsistent benennen.
4. Schritt 4: Katalogdarstellung aus Sicht einer fremden Organisation prüfen und fehlende Suchmerkmale ergänzen.

Modul 7: Access Policies und Contract Policies

Katalogsichtbarkeit und vertragliche Nutzungsbedingungen werden getrennt und testbar modelliert.

1. Schritt 1: Fachliche Regel in Operand, Operator, Wert, Datentyp und Namensraum übersetzen.
2. Schritt 2: Access Policy für Sichtbarkeit und Contract Policy für Vertragsberechtigung separat anlegen.
3. Schritt 3: Teilnehmer-, Gruppen-, Zeit- und Zweckbedingungen mit AND, OR oder XONE kombinieren.
4. Schritt 4: Erlaubte, abgelehnte und unvollständige Identitäten über eine Wahrheitstabelle und technische Tests prüfen.

Modul 8: Contract Definition und Veröffentlichung

Asset und Policies werden zu einem kontrollierten Datenangebot verbunden.

1. Schritt 1: Asset-Selektor oder explizite Asset-Zuordnung mit eindeutigem Geltungsbereich festlegen.
2. Schritt 2: Access- und Contract-Policy korrekt referenzieren und Contract Definition anlegen.
3. Schritt 3: Angebot aus externer Katalogsicht abrufen und unerwartete Assets oder fehlende Metadaten korrigieren.
4. Schritt 4: Probeverhandlung, Testtransfer und Freigabecheckliste als Veröffentlichungsnachweis durchführen.

Modul 9: Katalogsuche und Angebotsbewertung

Katalogantworten werden technisch und fachlich ausgewertet, bevor eine Verhandlung beginnt.

1. Schritt 1: Gegenstelle, DSP-Endpunkt, Teilnehmerkontext und Suchfilter vorbereiten.
2. Schritt 2: Dataset, Distribution, Policy, Anbieter und technische Referenzen aus der Antwort zuordnen.
3. Schritt 3: Angebote nach Format, Aktualität, Version, Domäne und Vertragsbedingungen bewerten.
4. Schritt 4: Auswahlentscheidung und verwendete Identifikatoren für den Folgeprozess nachvollziehbar speichern.

Modul 10: Vertragsverhandlung und Contract Agreement

Der asynchrone Vertragsprozess wird bis zur belastbaren Vereinbarung verfolgt.

1. Schritt 1: Angebotspolicy und Teilnehmerkontext in eine Verhandlungsanfrage übernehmen.
2. Schritt 2: Prozesskennung speichern und Zustände über Oberfläche oder API beobachten.
3. Schritt 3: Erfolgreiche Vereinbarung eindeutig für nachfolgende Transfers referenzieren.
4. Schritt 4: Ablehnung wegen Identität, Policy oder Protokollkonfiguration gezielt reproduzieren und beheben.

Modul 11: Push-, Pull- und speicherbasierte Transfers

Transferart und Datenfluss werden nach Quelle, Ziel, Volumen und Integrationsmuster ausgewählt.

1. Schritt 1: HttpData-PUSH, parametrisiertes HttpData-PULL und speicherbasierte Verfahren vergleichen.
2. Schritt 2: Zieladresse, Zieltyp, Datenebenenparameter und Vertragsvereinbarung korrekt zuordnen.
3. Schritt 3: Transfer starten und Zustände, Data-Plane-Auswahl, Nutzdaten und Header prüfen.
4. Schritt 4: Abbruch, Wiederholung, Vertragsbeendigung und Verhalten bei vorhandenem Zielobjekt testen.

Modul 12: HTTP-, API- und Dateiquellen

Web- und dateibasierte Quellen werden mit kontrollierter Parametrisierung und Authentifizierung eingebunden.

1. Schritt 1: HTTP-Methode, Pfad-, Query- und Headerparameter sowie zulässige Laufzeitüberschreibungen definieren.
2. Schritt 2: API-Schlüssel, Basic Authentication oder OAuth2 über sichere Secret-Referenzen konfigurieren.
3. Schritt 3: Binärdateien ohne ungeeignete Textkonvertierung übertragen und Zielverhalten für vorhandene Dateien festlegen.
4. Schritt 4: Zeitüberschreitung, ungültigen Parameter, nicht erreichbare Quelle und abgelaufenes Token reproduzieren und auswerten.

Modul 13: AWS S3 und Azure Blob Storage

Object-Storage-Quellen und -Ziele werden providerübergreifend mit minimalen Rechten eingebunden.

1. Schritt 1: Bucket beziehungsweise Container, Objektpfad, Region, Endpunkt und Transferrolle festlegen.
2. Schritt 2: Lesende und schreibende Identitäten trennen und Zugangsdaten über Secret-Referenzen bereitstellen.
3. Schritt 3: S3- und Blob-Datenadressen für Quelle und Ziel konfigurieren und Transfers ausführen.
4. Schritt 4: Größe, Prüfsumme, Inhaltstyp, Durchsatz, Wiederholung und Wiederanlauf gegen Sollwerte prüfen.

Modul 14: Produktionsarchitektur und Data-Plane-Topologie

Control Plane, Data Plane und Infrastruktur werden nach Last, Schutzbedarf und Verantwortungsgrenzen angeordnet.

1. Schritt 1: Netzwerkzonen, Mandantengrenzen und öffentliche beziehungsweise interne Kommunikationspfade festlegen.
2. Schritt 2: Integrierte Data Plane gegen eigenständige und skalierbare Data Planes bewerten.
3. Schritt 3: Datenbank, Vault, Authentifizierungsproxy, Reverse Proxy und Monitoring in das Zielbild aufnehmen.
4. Schritt 4: Datenflüsse und Vertrauensgrenzen in einem freigegebenen Deployment-Diagramm dokumentieren.

Modul 15: Reverse Proxy, DNS und TLS

Endpunkte werden mit eindeutigen Hostnamen, Zertifikaten und Routingregeln abgesichert.

1. Schritt 1: Hostnamen und Pfade für Protokoll-, Public-, Management- und Statuszugriffe festlegen.
2. Schritt 2: TLS-Zertifikate, Vertrauenskette, Erneuerung und interne Ablage vorbereiten.
3. Schritt 3: Proxyregeln für Routing, Header, Größenbegrenzung und Zeitüberschreitungen konfigurieren.
4. Schritt 4: Öffentliche Erreichbarkeit und Sperrung administrativer Endpunkte von außen prüfen.

Modul 16: PostgreSQL, Vault und Geheimnisse

Persistente Prozessdaten und sensible Werte werden getrennt, gesichert und wiederherstellbar betrieben.

1. Schritt 1: Datenbanken, Schemas, Benutzer, Verbindungsgrenzen und Verschlüsselungsanforderungen definieren.
2. Schritt 2: Migrationen kontrolliert ausführen und Tabellen, Indizes sowie Status prüfen.
3. Schritt 3: Vault- oder Secret-Backend anbinden und Referenzen für Schlüssel, Passwörter und Token konfigurieren.
4. Schritt 4: Sicherung, Restore und Rotation in einer isolierten Umgebung praktisch erproben.

Modul 17: Health Checks, Metriken und strukturierte Logs

Dienststatus und Prozesszustände werden über messbare Signale und Korrelationskennungen beobachtbar.

1. Schritt 1: Start-, Readiness-, Liveness- und Dependency-Prüfungen den Betriebsentscheidungen zuordnen.
2. Schritt 2: Metriken für Anfragen, Fehler, Laufzeiten, Verhandlungen, Transfers und Datenbankverbindungen auswählen.
3. Schritt 3: Logs mit Zeitstempel, Dienst, Umgebung, Gegenstelle, Prozesskennung und Zustand strukturieren.
4. Schritt 4: Dashboards und Alarmregeln für Ausfall, Fehlerquote, hängende Prozesse und Zertifikatsablauf aufbauen.

Modul 18: Catena-X- und Tractus-X-nahe Integration

Ökosystemspezifische Identitäten, Policies und Interoperabilitätsprofile werden in den Connectorablauf eingebunden.

1. Schritt 1: Teilnehmer, Connector, Discovery, Katalog, Identitätsdienst und Registry im Zielbild zuordnen.
2. Schritt 2: BPN-bezogene Organisations- und Connectoridentität sowie erforderliche Namensräume konfigurieren.
3. Schritt 3: Mitgliedschafts-, Partner-, Framework- und Zweckbedingungen als kombinierte Policy modellieren.
4. Schritt 4: Katalog, Vertragsverhandlung und Transfer mit Referenzpartner und Negativfällen abnehmen.

Praxisübungen

Die Übungen verbinden die einzelnen Konfigurations- und Integrationsschritte zu prüfbaren Arbeitsergebnissen.

• Übung 1: Reproduzierbares Zwei-Connector-Labor mit Status- und Endpunktprüfung aufbauen.
• Übung 2: Qualitätsgeprüftes Datenangebot mit komplexer Policy veröffentlichen.
• Übung 3: Push-, Pull-, Datei- und Object-Storage-Transfers mit Fehlerfällen ausführen.
• Übung 4: Produktionsarchitektur, Wiederherstellung und Integrationsabnahme erstellen.

Methodik

Theorieimpulse werden unmittelbar in einer über mehrere Tage fortgeführten Referenzumgebung umgesetzt. Konfigurationen, API-Aufrufe, Testnachweise und Betriebsentscheidungen bauen aufeinander auf. Jeder Themenblock endet mit einer technischen Kontrolle, einem Negativfall und einer dokumentierten Freigabeentscheidung.