Seminar Open Cluster Management AI-Workloads und intelligentes Scheduling

Das Seminar überträgt die OCM-Konzepte Inventar, Placement und Work Distribution auf AI- und Machine-Learning-Workloads. Besondere Aufmerksamkeit erhalten knappe Beschleuniger, Datenlokalität, Queueing und nachvollziehbare Auswahlentscheidungen.

Zielsetzung

Training und Inferenz werden anhand technischer und betrieblicher Kriterien über eine Clusterflotte geplant. Integrationen für Queueing, Datenbeschleunigung und verteiltes Lernen werden mit ihrem jeweiligen Reifegrad eingeordnet.

Zielgruppe

• Platform Engineers für AI-Plattformen
• MLOps- und Kubernetes-Teams
• Cloud- und Lösungsarchitekten

Voraussetzungen

Kubernetes-Grundlagen, OCM Placement und ManifestWork sowie Grundverständnis von AI-Workloads, GPU-Ressourcen und Queueing.

Inhaltsübersicht

1. Tag 1: AI-Anforderungen, Inventar und intelligente Platzierung
2. Tag 2: Queueing, Datenlokalität und verteilter AI-Lifecycle

Kapitel 1 – Tag 1: AI-Anforderungen, Inventar und intelligente Platzierung

Inhaltsverzeichnis: GPU-, Accelerator- und Kapazitätsmerkmale im Clusterinventar; Placement für Training und Inferenz; dynamische Scores, Kosten, Latenz und Datenstandort; Failure Domains und Prioritäten für AI-Workloads

Fachliche Inhalte

• GPU-, Accelerator- und Kapazitätsmerkmale im Clusterinventar
• Placement für Training und Inferenz
• dynamische Scores, Kosten, Latenz und Datenstandort
• Failure Domains und Prioritäten für AI-Workloads

Schritt-für-Schritt-Anleitung

1. Schritt 1: Clustermerkmale für GPU-Typ, Speicher, Region, Kostenklasse und Compliance als Claims oder Properties modellieren.
2. Schritt 2: Harte Anforderungen und weiche Prioritäten für einen Trainings- und einen Inferenzfall formulieren.
3. Schritt 3: Dynamische Bewertungsdaten in eine nachvollziehbare Rangfolge der Cluster überführen.
4. Schritt 4: Resilienz- und Datenlokalitätsanforderungen mit Decision Groups und Failure Domains abbilden.

Praxisprüfung

Zwei Workloadprofile werden gegen dieselbe Flotte geplant, sodass unterschiedliche Prioritäten zu erklärbaren Entscheidungen führen.

Kapitel 2 – Tag 2: Queueing, Datenlokalität und verteilter AI-Lifecycle

Inhaltsverzeichnis: MultiKueue und flottenweites Queueing; Fluid und beschleunigte Modell- beziehungsweise Datenbereitstellung; ManifestWork für Jobs und Inferenzdienste; Federated Learning, Monitoring und kontrollierte Rücknahme

Fachliche Inhalte

• MultiKueue und flottenweites Queueing
• Fluid und beschleunigte Modell- beziehungsweise Datenbereitstellung
• ManifestWork für Jobs und Inferenzdienste
• Federated Learning, Monitoring und kontrollierte Rücknahme

Schritt-für-Schritt-Anleitung

1. Schritt 1: Eine Queueing-Strategie für knappe GPU-Ressourcen und unterschiedliche Prioritäten entwerfen.
2. Schritt 2: Daten- und Modelllokalität in die Platzierung sowie den Bereitstellungsablauf einbeziehen.
3. Schritt 3: Einen Job oder Dienst per ManifestWork an ausgewählte Cluster verteilen und Statusfeedback sammeln.
4. Schritt 4: Ein föderiertes oder verteiltes Training mit Datenschutzgrenzen, Abbruchbedingungen und Monitoring skizzieren.

Praxisprüfung

Die Praxis verbindet Auswahl, Queueing, Ausführung und Status zu einem durchgängigen AI-Workload-Ablauf mit dokumentierten Reifegradannahmen.