Seminar Soda – Architektur- und Einführungsworkshop

Der Workshop ordnet die Komponenten von Soda in ein durchgängiges Data-Quality-Betriebsmodell ein. Im Mittelpunkt stehen die fachlichen Kontrollpunkte, die technische Ausführung und die Zusammenarbeit zwischen Datenproduzenten, Plattformbetrieb und Datenkonsumenten.

Das Format dient der fundierten Vorbereitung eines Piloten oder Rollouts. Die Übungen erzeugen ein Zielbild, eine Rollenverteilung und eine priorisierte Umsetzungsfolge, ohne die Detailtiefe eines Administrations- oder Entwicklungstrainings vorwegzunehmen.

Lernziele

• Soda Core, Soda Cloud, Soda Runner und Diagnostics Warehouse funktional voneinander abgrenzen
• Data Testing, Data Contracts und Data Observability in einer gemeinsamen Kontrollarchitektur verorten
• Sicherheits-, Netzwerk- und Verantwortungsgrenzen für lokale und zentral ausgeführte Prüfungen festlegen
• einen realistischen Pilotumfang mit messbaren Abnahmekriterien und Lernpfad definieren

Inhaltsübersicht

1. Ziele und kritische Datenprodukte bestimmen
2. Komponenten und Ausführungsmodelle abbilden
3. Lebenszyklus von Data Contracts entwerfen
4. Observability und Bearbeitungskette planen
5. Sicherheit und Betriebsverantwortung festlegen
6. Pilot und Lernpfad ausarbeiten

Seminarinhalte

1. Ziele und kritische Datenprodukte bestimmen

1. Schritt 1: Geschäftskritische Datenprodukte, Konsumenten und Ausfallfolgen erfassen.
2. Schritt 2: Qualitätsrisiken nach Schema, Vollständigkeit, Aktualität, Gültigkeit und Konsistenz klassifizieren.
3. Schritt 3: Prüfungen in präventive Tests, laufende Beobachtung und reaktive Diagnose einordnen.
4. Schritt 4: Messbare Erfolgsgrößen für Pilot, Betrieb und Governance festlegen.

2. Komponenten und Ausführungsmodelle abbilden

1. Schritt 1: Soda Core und CLI für lokale, codebasierte Ausführung einordnen.
2. Schritt 2: Soda Cloud als Arbeitsbereich für Verträge, Ergebnisse, Monitoring und Zusammenarbeit modellieren.
3. Schritt 3: Soda Runner als kontrollierte Ausführungsumgebung in der eigenen Infrastruktur einplanen.
4. Schritt 4: Diagnostics Warehouse, Datenquellen und Integrationen in einem Datenflussdiagramm verbinden.

3. Lebenszyklus von Data Contracts entwerfen

1. Schritt 1: Verantwortliche Datenprodukte und vollständig qualifizierte Dataset-Namen festlegen.
2. Schritt 2: Cloud-verwaltete und Git-verwaltete Vertragsmodelle anhand der Arbeitsweise auswählen.
3. Schritt 3: Schema- und Qualitätsregeln mit Schwellenwerten und Zuständigkeiten strukturieren.
4. Schritt 4: Erstellung, Prüfung, Veröffentlichung, Verifikation und Änderungskontrolle als Prozess definieren.

4. Observability und Bearbeitungskette planen

1. Schritt 1: Basismonitore für Volumen, Aktualität und Schemaänderungen priorisieren.
2. Schritt 2: Lernphasen, erwartete Bereiche und Alarmempfindlichkeit für Metriken festlegen.
3. Schritt 3: Triage, Zuständigkeit, Schweregrad und Eskalation für Qualitätsprobleme beschreiben.
4. Schritt 4: Vertragsverletzungen und Beobachtungsalarme in einen gemeinsamen Incident-Prozess überführen.

5. Sicherheit und Betriebsverantwortung festlegen

1. Schritt 1: Rollen, Gruppen, Dataset-Verantwortlichkeiten und technische Konten trennen.
2. Schritt 2: API-Schlüssel, Datenbankzugänge und Secrets ohne Klartextablage planen.
3. Schritt 3: Umgang mit fehlgeschlagenen Datensätzen und sensiblen Spalten definieren.
4. Schritt 4: Protokollierung, Aufbewahrung, Upgrade- und Wiederherstellungsverantwortung zuordnen.

6. Pilot und Lernpfad ausarbeiten

1. Schritt 1: Ein repräsentatives Datenprodukt mit überschaubarem Risiko als Pilot auswählen.
2. Schritt 2: Minimalumfang aus Datenquelle, Vertrag, Monitoren, Alarmen und Verantwortlichkeiten festlegen.
3. Schritt 3: Abnahmetests, Betriebsübergabe und Entscheidungspunkte terminieren.
4. Schritt 4: Weiterführende Spezialseminare nach Rollen und Umsetzungsschritten priorisieren.

Praxislabor

In einem moderierten Architekturboard werden Datenfluss, Kontrollpunkte, Ausführungsorte, Rollen und Pilotmeilensteine für ein ausgewähltes Datenprodukt dokumentiert. Das Ergebnis ist eine technisch und organisatorisch prüfbare Einführungsskizze.

Zielgruppe und Voraussetzungen

Zielgruppe: Data- und Plattformarchitektur, Data Engineering, Data Governance, technische Projektleitung, Informationssicherheit und verantwortliche Datenproduktteams.

Voraussetzungen: Grundverständnis moderner Datenplattformen, Datenpipelines und organisatorischer Verantwortlichkeiten; keine praktische Soda-Erfahrung erforderlich.

Didaktik und Arbeitsweise

Kurze Fachimpulse werden unmittelbar durch Demonstrationen, strukturierte Konfigurationsschritte, Praxisübungen und kontrollierte Fehlerfälle vertieft. Jede Übung verwendet definierte Ausgangswerte, Prüfpunkte und Dokumentationsanforderungen, damit die erarbeiteten Abläufe als Betriebsstandard wiederholbar bleiben.