Seminar deltaDAO Pontus-X – Compute-to-Data-Algorithmen entwickeln

Das Seminar entwickelt einen reproduzierbaren Algorithmuscontainer für die isolierte Ausführung auf fremden Daten. Neben dem eigentlichen Code stehen unveränderliche Versionen, sichere Parameter, definierte Ein- und Ausgaben, bereinigte Logs und die technische Abnahme im Mittelpunkt.

Inhaltsverzeichnis

• Lernziele
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Lernziele

• Den Ausführungsvertrag eines Compute-to-Data-Algorithmus präzise definieren.
• Container, Abhängigkeiten und Versionen reproduzierbar paketieren.
• Daten, Parameter und Umgebungsinformationen sicher verarbeiten.
• Ergebnisse und Logs ohne vertrauliche Nebeninformationen erzeugen.
• Algorithmusasset, Allowlisting, Tests und Fehleranalyse durchführen.

Schrittweise Seminarinhalte

1. Algorithmusvertrag und Ein-/Ausgaben

Schwerpunkt: fachliche Funktion, Dataset-DIDs, Dateiformate, Schemas, Parameter, Ergebnisse, Fehlercodes, Ressourcen und Laufzeitgrenzen.

1. Ausgangslage, Beteiligte, Schutzbedarf und Zielkriterien für den Themenblock „Algorithmusvertrag und Ein-/Ausgaben“ erfassen.
2. Relevante Objekte, Rollen, Datenflüsse und Abhängigkeiten anhand von fachliche Funktion, Dataset-DIDs, Dateiformate, Schemas, Parameter, Ergebnisse, Fehlercodes, Ressourcen und Laufzeitgrenzen modellieren.
3. Die erforderliche Konfiguration, Prozessfolge oder technische Umsetzung im Laborszenario schrittweise durchführen und Entscheidungen dokumentieren.
4. Funktion, Berechtigungen, Nachvollziehbarkeit und Fehlerverhalten mit definierten Positiv-, Negativ- und Grenzfällen prüfen.
5. Als Arbeitsergebnis einen verbindlichen Algorithmus- und Schnittstellenvertrag erstellen, fachlich abnehmen und in einen wiederholbaren Standard überführen.

2. Docker-Image und Versionsstabilität

Schwerpunkt: Basisimage, Abhängigkeiten, Build, Image-Registry, feste Tags, Hashstabilität, private Images, Pull-Secret und Schwachstellenprüfung.

1. Ausgangslage, Beteiligte, Schutzbedarf und Zielkriterien für den Themenblock „Docker-Image und Versionsstabilität“ erfassen.
2. Relevante Objekte, Rollen, Datenflüsse und Abhängigkeiten anhand von Basisimage, Abhängigkeiten, Build, Image-Registry, feste Tags, Hashstabilität, private Images, Pull-Secret und Schwachstellenprüfung modellieren.
3. Die erforderliche Konfiguration, Prozessfolge oder technische Umsetzung im Laborszenario schrittweise durchführen und Entscheidungen dokumentieren.
4. Funktion, Berechtigungen, Nachvollziehbarkeit und Fehlerverhalten mit definierten Positiv-, Negativ- und Grenzfällen prüfen.
5. Als Arbeitsergebnis ein reproduzierbares und freigegebenes Container-Image erstellen, fachlich abnehmen und in einen wiederholbaren Standard überführen.

3. Entrypoint und Ausführungskonfiguration

Schwerpunkt: Startbefehl, Algorithmusdatei, Überschreiben des Container-Entrypoints, Arbeitsverzeichnis, Benutzerrechte, Abbruch und Exitcodes.

1. Ausgangslage, Beteiligte, Schutzbedarf und Zielkriterien für den Themenblock „Entrypoint und Ausführungskonfiguration“ erfassen.
2. Relevante Objekte, Rollen, Datenflüsse und Abhängigkeiten anhand von Startbefehl, Algorithmusdatei, Überschreiben des Container-Entrypoints, Arbeitsverzeichnis, Benutzerrechte, Abbruch und Exitcodes modellieren.
3. Die erforderliche Konfiguration, Prozessfolge oder technische Umsetzung im Laborszenario schrittweise durchführen und Entscheidungen dokumentieren.
4. Funktion, Berechtigungen, Nachvollziehbarkeit und Fehlerverhalten mit definierten Positiv-, Negativ- und Grenzfällen prüfen.
5. Als Arbeitsergebnis eine robuste Entrypoint- und Laufzeitkonfiguration erstellen, fachlich abnehmen und in einen wiederholbaren Standard überführen.

4. Datenpfade, Umgebungsvariablen und Parameter

Schwerpunkt: Daten-DIDs, Eingabeverzeichnisse, Metadaten, Ausgabe- und Logpfade, benutzerdefinierte JSON-Parameter, Defaults und Grenzwerte.

1. Ausgangslage, Beteiligte, Schutzbedarf und Zielkriterien für den Themenblock „Datenpfade, Umgebungsvariablen und Parameter“ erfassen.
2. Relevante Objekte, Rollen, Datenflüsse und Abhängigkeiten anhand von Daten-DIDs, Eingabeverzeichnisse, Metadaten, Ausgabe- und Logpfade, benutzerdefinierte JSON-Parameter, Defaults und Grenzwerte modellieren.
3. Die erforderliche Konfiguration, Prozessfolge oder technische Umsetzung im Laborszenario schrittweise durchführen und Entscheidungen dokumentieren.
4. Funktion, Berechtigungen, Nachvollziehbarkeit und Fehlerverhalten mit definierten Positiv-, Negativ- und Grenzfällen prüfen.
5. Als Arbeitsergebnis eine sichere Einlese- und Parameterbibliothek erstellen, fachlich abnehmen und in einen wiederholbaren Standard überführen.

5. Algorithmuscode, Validierung und Fehlerbehandlung

Schwerpunkt: Schemaprüfung, Wertebereiche, fehlende Dateien, ungültige Parameter, Exceptions, deterministisches Verhalten, Teilresultate und Wiederholbarkeit.

1. Ausgangslage, Beteiligte, Schutzbedarf und Zielkriterien für den Themenblock „Algorithmuscode, Validierung und Fehlerbehandlung“ erfassen.
2. Relevante Objekte, Rollen, Datenflüsse und Abhängigkeiten anhand von Schemaprüfung, Wertebereiche, fehlende Dateien, ungültige Parameter, Exceptions, deterministisches Verhalten, Teilresultate und Wiederholbarkeit modellieren.
3. Die erforderliche Konfiguration, Prozessfolge oder technische Umsetzung im Laborszenario schrittweise durchführen und Entscheidungen dokumentieren.
4. Funktion, Berechtigungen, Nachvollziehbarkeit und Fehlerverhalten mit definierten Positiv-, Negativ- und Grenzfällen prüfen.
5. Als Arbeitsergebnis einen fehlertoleranten Algorithmuskern erstellen, fachlich abnehmen und in einen wiederholbaren Standard überführen.

6. Ergebnisse, Logs und Informationsschutz

Schwerpunkt: Ausgabeformate, Dateinamen, Aggregation, Mindestmengen, sensible Felder, Logbereinigung, Statusinformationen und Ergebnisvalidierung.

1. Ausgangslage, Beteiligte, Schutzbedarf und Zielkriterien für den Themenblock „Ergebnisse, Logs und Informationsschutz“ erfassen.
2. Relevante Objekte, Rollen, Datenflüsse und Abhängigkeiten anhand von Ausgabeformate, Dateinamen, Aggregation, Mindestmengen, sensible Felder, Logbereinigung, Statusinformationen und Ergebnisvalidierung modellieren.
3. Die erforderliche Konfiguration, Prozessfolge oder technische Umsetzung im Laborszenario schrittweise durchführen und Entscheidungen dokumentieren.
4. Funktion, Berechtigungen, Nachvollziehbarkeit und Fehlerverhalten mit definierten Positiv-, Negativ- und Grenzfällen prüfen.
5. Als Arbeitsergebnis ein kontrolliertes Ergebnis- und Loggingkonzept erstellen, fachlich abnehmen und in einen wiederholbaren Standard überführen.

7. Publikation, Allowlisting und Ende-zu-Ende-Test

Schwerpunkt: Algorithmusasset, Metadaten, Containerangaben, Veröffentlichung, Datenasset-Zuordnung, Freigabe, Jobstart, Status, Ergebnis und Negativtests.

1. Ausgangslage, Beteiligte, Schutzbedarf und Zielkriterien für den Themenblock „Publikation, Allowlisting und Ende-zu-Ende-Test“ erfassen.
2. Relevante Objekte, Rollen, Datenflüsse und Abhängigkeiten anhand von Algorithmusasset, Metadaten, Containerangaben, Veröffentlichung, Datenasset-Zuordnung, Freigabe, Jobstart, Status, Ergebnis und Negativtests modellieren.
3. Die erforderliche Konfiguration, Prozessfolge oder technische Umsetzung im Laborszenario schrittweise durchführen und Entscheidungen dokumentieren.
4. Funktion, Berechtigungen, Nachvollziehbarkeit und Fehlerverhalten mit definierten Positiv-, Negativ- und Grenzfällen prüfen.
5. Als Arbeitsergebnis einen vollständig getesteten Compute-to-Data-Algorithmus erstellen, fachlich abnehmen und in einen wiederholbaren Standard überführen.

Praxisübungen und Laborszenarien

• Erstellung eines Python- oder Node.js-Algorithmus mit definiertem Vertrag.
• Bau eines versionierten Docker-Images ohne veränderlichen Latest-Tag.
• Implementierung von Parameter- und Schema-Prüfungen.
• Publikation, Allowlisting und Ausführung mit gültigen und ungültigen Fällen.

Zielgruppe und Voraussetzungen

Zielgruppe: Python-, Node.js- und Data-Engineering-Teams, ML Engineering, DevOps, Security Engineering und technische Integration.

Voraussetzungen: Programmierkenntnisse in Python oder Node.js, praktische Docker-Erfahrung und Grundkenntnisse zu JSON, APIs und Compute-to-Data.

Didaktik und Arbeitsweise

Kurze Fachimpulse werden unmittelbar durch Demonstrationen, strukturierte Arbeitsschritte, praktische Übungen und kontrollierte Fehlerfälle vertieft. Jede Übung verwendet definierte Ausgangswerte, Prüfpunkte und Dokumentationsanforderungen, damit die erarbeiteten Verfahren im Projekt- oder Regelbetrieb wiederholbar bleiben.