Seminar StackHPC Private Cloud – Slurm- und Forschungsplattformen mit Azimuth

Das Seminar behandelt die standardisierte Bereitstellung von Slurm-basierten Forschungs- und Rechenclustern über Azimuth auf OpenStack.

Ziel ist ein nutzbares Clusterangebot mit abgestimmten Ressourcenprofilen, sicherem Zugang, dynamischer Skalierung und betrieblicher Überwachung.

Inhaltsübersicht

1. Service- und Nutzeranforderungen
2. Azimuth- und Clusterarchitektur
3. Slurm-Grundkonfiguration
4. Images und Softwarestack
5. Dynamische Compute-Ressourcen
6. Zugang und Daten
7. Monitoring und Jobanalyse
8. Betrieb und Lifecycle
9. Praxislabor und betriebliche Einordnung

Zielsetzung

Ziel ist ein nutzbares Clusterangebot mit abgestimmten Ressourcenprofilen, sicherem Zugang, dynamischer Skalierung und betrieblicher Überwachung. Die Arbeitsweise verbindet fachliche Einordnung, Demonstrationen und unmittelbar nachvollziehbare Übungen an einer praxisnahen Umgebung.

Zielgruppe

HPC-Administratoren, Forschungs-IT, Cloud-Plattformteams und wissenschaftliche Service-Owner.

Voraussetzungen

Linux-, Netzwerk-, OpenStack- und HPC-Grundlagen; erste Slurm-Erfahrung ist hilfreich.

Seminarinhalte

Modul 1: Service- und Nutzeranforderungen

1. Schritt 1: Forschungsgruppen, Jobprofile und Datenwege erfassen.
2. Schritt 2: Serviceklassen und Betriebsgrenzen formulieren.
3. Schritt 3: Akzeptanzkriterien für Cluster und Jobs festlegen.

Modul 2: Azimuth- und Clusterarchitektur

1. Schritt 1: Portal, Katalog und OpenStack-Ressourcen zuordnen.
2. Schritt 2: Controller-, Login- und Compute-Rollen modellieren.
3. Schritt 3: Netzwerk- und Speicherpfade nachvollziehen.

Modul 3: Slurm-Grundkonfiguration

1. Schritt 1: Partitionen, Nodes und Ressourcenparameter definieren.
2. Schritt 2: Accounting, Limits und Quality-of-Service einordnen.
3. Schritt 3: Konfiguration reproduzierbar verwalten.

Modul 4: Images und Softwarestack

1. Schritt 1: Basisimages, Treiber und wissenschaftliche Pakete festlegen.
2. Schritt 2: Build und Versionierung automatisieren.
3. Schritt 3: Imagefreigabe und Aktualisierung kontrollieren.

Modul 5: Dynamische Compute-Ressourcen

1. Schritt 1: OpenStack-Flavors und Hostmerkmale zuordnen.
2. Schritt 2: Scale-out und Scale-in an Jobbedarf koppeln.
3. Schritt 3: Quoten, Startzeiten und Fehlerfälle berücksichtigen.

Modul 6: Zugang und Daten

1. Schritt 1: Loginpfade, SSH-Schlüssel und Projektrollen absichern.
2. Schritt 2: Home-, Projekt- und Scratch-Daten unterscheiden.
3. Schritt 3: Datenübertragung und Aufbewahrung planen.

Modul 7: Monitoring und Jobanalyse

1. Schritt 1: Clusterzustand, Queue und Nodeauslastung messen.
2. Schritt 2: fehlgeschlagene oder wartende Jobs untersuchen.
3. Schritt 3: Kapazitäts- und Nutzerberichte erstellen.

Modul 8: Betrieb und Lifecycle

1. Schritt 1: Wartung, Updates und Nodeaustausch planen.
2. Schritt 2: Fehler- und Wiederanlaufverfahren dokumentieren.
3. Schritt 3: Serviceangebot und Supportprozess übergeben.

Praxislabor

1. Aufgabe 1: Definition eines Slurm-Clusterprofils.
2. Aufgabe 2: Durchführung eines Beispieljobs mit dynamischen Nodes.
3. Aufgabe 3: Analyse eines wartenden und eines fehlgeschlagenen Jobs.

Praxisnutzen

Nach Abschluss können die behandelten Verfahren für Service- und Nutzeranforderungen, Azimuth- und Clusterarchitektur, Slurm-Grundkonfiguration, Images und Softwarestack strukturiert geplant, ausgeführt, geprüft und dokumentiert werden. Technische Entscheidungen lassen sich anhand definierter Anforderungen, Messwerte und kontrollierter Arbeitsschritte begründen.