Seminar Quobyte GPU Converged Storage

GPU-Knoten werden nicht nur als Rechenressource, sondern auch als Bestandteil eines verteilten Storage-Pools betrachtet. Hardwarevoraussetzungen, Dienstplatzierung, lokale NVMe-Geräte, Fehlerdomänen, Wartung und Wirtschaftlichkeit bilden den Schwerpunkt.

Inhaltsverzeichnis

• Konvergierter Architekturansatz
• GPU-Knoten und lokale NVMe-Ressourcen
• Dienstplatzierung und Fehlerdomänen
• Lokaler und verteilter Datenpfad
• Scheduler, Wartung und dynamische Knoten
• Leistung, Energie und Kosten

Zielsetzung

Ein konvergierter Entwurf soll die lokale Datenpfadlänge und Infrastrukturkosten reduzieren, ohne die notwendige Datenverfügbarkeit und kontrollierte Wartbarkeit zu verlieren.

Zielgruppe

AI-Infrastrukturarchitektur, GPU-Plattformbetrieb, Storage Engineering, Kubernetes-Plattformteams und Netzwerkarchitektur.

Voraussetzungen

Quobyte-Architekturgrundlagen sowie Erfahrung mit GPU-Servern, NVMe, Linux und schnellen Datennetzen.

Seminarinhalte

1. Konvergierter Architekturansatz

1. Getrennte und konvergierte Designs nach Datenpfad und Fehlerbild vergleichen.
2. Geeignete Workloads und Grenzen festlegen.
3. Verantwortlichkeiten zwischen AI-, Storage- und Plattformteam klären.

2. GPU-Knoten und lokale NVMe-Ressourcen

1. CPU, RAM, NVMe und Netzwerk inventarisieren.
2. Metadaten- und Datengeräte voneinander trennen.
3. Thermik, Ausdauer und Wartungszugriff berücksichtigen.

3. Dienstplatzierung und Fehlerdomänen

1. Registry-, Metadaten- und Datendienste passend platzieren.
2. GPU-Knoten, Racks und Strombereiche als Fehlerdomänen modellieren.
3. Replikate oder EC-Fragmente über reale Ausfallgrenzen verteilen.

4. Lokaler und verteilter Datenpfad

1. Lokale NVMe- und Clusterzugriffe getrennt messen.
2. Datenplatzierung an Joblokalität koppeln, ohne Schutz zu opfern.
3. Netzwerkbedarf für Remote-I/O und Wiederaufbau dimensionieren.

5. Scheduler, Wartung und dynamische Knoten

1. Knotenlabels, Affinitäten und Wartungszustände einbeziehen.
2. Rebalancing vor Drain oder Knotenentzug überwachen.
3. Ausfall, Drain und Wiedereintritt eines GPU-Knotens testen.

6. Leistung, Energie und Kosten

1. GPU-Auslastung, Storage-Durchsatz und Netzverkehr gemeinsam erfassen.
2. Dedizierte Storage-Knoten gegen konvergierte Kapazität rechnen.
3. Reserven für Ausfall, Wachstum und wechselnde Jobmuster berücksichtigen.

Praxisaufgaben

• Ein konvergiertes Vier-Knoten-Design entwerfen.
• Fehlerdomänen und Schutzschema für GPU-Nodes festlegen.
• Drain und Wiederaufnahme eines Knotens als Runbook beschreiben.
• Kosten- und Leistungskriterien getrennter und konvergierter Varianten vergleichen.

Arbeitsweise

Fachliche Einordnung, Demonstrationen und geführte Schritt-für-Schritt-Übungen wechseln sich ab. Konfigurationen, Messwerte und Fehlerbilder werden direkt am Laborsystem geprüft und in wiederverwendbare Checklisten oder Runbooks überführt.