Seminar KI-Plattformen mit Kubernetes souverän betreiben

Der Betrieb einer KI-Plattform erfordert die Abstimmung von Modellartefakten, Beschleunigern, Netzwerken und Anwendungszugängen. Das Seminar überträgt einen lokalen Inferenzdienst auf eine bestehende Kubernetes-Umgebung und untersucht die Auswirkungen gemeinsamer Ressourcen auf Verfügbarkeit und Trennung der Arbeitslasten. Die Kontrolle über Modelle und Betriebsdaten bleibt Teil der Architekturentscheidung.

Europäische Sprachmodelle werden mit einer vorab geprüften Laufzeit bereitgestellt. Übungen verbinden Helm-Konfiguration, Ressourcenanforderungen, persistente Ablage und geschützten Anwendungszugriff. Grenzen von Namespaces, automatischer Skalierung und GPU-Aufteilung werden ausdrücklich behandelt. Die Plattform entsteht auf einem funktionierenden Cluster; die grundlegende Installation eines Kubernetes-Clusters gehört nicht zum Seminarumfang.

Zielgruppe

Kubernetes-Administration, Plattform-Engineering, DevOps, Infrastrukturarchitektur und technischer KI-Betrieb.

Voraussetzungen

Sichere Kubernetes-Kenntnisse zu Deployments, Services, Volumes und RBAC; Linux- und Containererfahrung sowie Kenntnisse lokaler LLM-Inferenz.

Inhaltsübersicht

• Architektur und vorhandenen Cluster prüfen
• GPU-Ressourcen und Scheduling
• Modellartefakte und persistente Daten
• Inferenzdienste bereitstellen
• Netze, Identitäten und Trennung
• Last und Kapazität
• Updates und Wiederanlauf
• Betriebswerkstatt

Seminarinhalte

Architektur und vorhandenen Cluster prüfen

• Knoten, Netzwerk, Speicherklassen und verfügbare Beschleuniger inventarisieren.
• Betriebsgrenzen zwischen Infrastruktur, Plattform und Anwendung festlegen.
• Modellherkunft, Artefaktablage und administrative Zugriffsmöglichkeiten in einer Komponentenübersicht erfassen.

GPU-Ressourcen und Scheduling

• Treiber- und Device-Plugin-Voraussetzungen mit den bereitgestellten Knoten abgleichen.
• Ressourcenanforderungen, Node-Labels und geeignete Scheduling-Regeln konfigurieren.
• Gemeinsame Nutzung und Hardwarepartitionierung nach tatsächlicher Unterstützung beurteilen; Ressourcenknappheit kontrolliert behandeln.

Modellartefakte und persistente Daten

• Modelle, Tokenizer und Laufzeitimages mit festen Versionen bereitstellen.
• Interne Registries, lokale Modellablage und Caches für einen kontrollierten Betrieb nutzen.
• Zugriffe auf persistente Daten und die Wiederherstellung benötigter Artefakte planen.

Inferenzdienste bereitstellen

• Einen geprüften Inferenzdienst deklarativ installieren und mit Funktionstests abnehmen.
• Start-, Bereitschafts- und Zustandsprüfungen auf lange Modellladezeiten abstimmen.
• Kontextgrenzen, Parallelität und Arbeitsspeicher mit den verfügbaren Ressourcen verbinden.

Netze, Identitäten und Trennung

• Services, geschützte Zugänge und TLS für den Anwendungsverkehr konfigurieren.
• RBAC, getrennte Dienstkonten, Secrets und Netzwerkrichtlinien praktisch anwenden.
• Mandantentrennung über Identitäten, Datenzugriff, Netzwerk und Ressourcen gemeinsam prüfen; Namespaces allein nicht als vollständige Isolation bewerten.

Last und Kapazität

• Latenz, Warteschlangen und GPU-Auslastung mit einem begrenzten Lasttest beobachten.
• Skalierung, Modellladezeit und verfügbare Knotenressourcen aufeinander abstimmen.
• Kapazitätsreserven, Begrenzung von Anfragen und Verhalten bei Überlast festlegen.

Updates und Wiederanlauf

• Modell- und Imagewechsel mit kontrollierter Bereitstellung und Rückfallvariante durchführen.
• Pod-Ausfall und unterbrochene Verbindungen ohne Eingriff in Produktivsysteme simulieren.
• Konfigurationen und persistente Daten sichern und die Wiederherstellung überprüfen.

Betriebswerkstatt

• Die Beispielplattform mit Rollen, Ressourcen und Modellversionen dokumentieren.
• Einen kompletten Funktionslauf über den geschützten Anwendungszugang prüfen.
• Betriebszuständigkeiten, Alarmwege und Wartungsschritte in einer ausführbaren Betriebsanweisung zusammenführen.

Praxisübungen

1. Einen europäischen Inferenzdienst auf dem vorbereiteten Cluster bereitstellen und Bereitschaftsprüfungen sowie Modellladezeiten beobachten.
2. Zwei Arbeitsbereiche mit getrennten Identitäten konfigurieren und unzulässige Daten- und Netzwerkzugriffe mit Negativtests prüfen.
3. Eine steigende Anfragezahl erzeugen und den Zusammenhang zwischen Kontextlänge, Parallelität und GPU-Speicher untersuchen.
4. Eine neue Modellrevision kontrolliert bereitstellen, einen Fehler simulieren und zur zuvor geprüften Version zurückkehren.
5. Eine gesicherte Konfiguration in einem vorgesehenen Testbereich wiederherstellen und die Funktionsfähigkeit nachweisen.

Schulungsumgebung

Der Kunde stellt einen funktionsfähigen Kubernetes-Schulungscluster mit abgestimmten GPU-Ressourcen, funktionsfähigem Netzwerk, persistentem Speicher, Registry-Zugang und erforderlichen Administrationsrechten. Modellartefakte und Laufzeitimages werden vorab bereitgestellt. Sämtliche Ausfallversuche finden in einer isolierten Testumgebung statt.

Einordnung im Seminarprogramm

Die empfohlenen Lernpfade und ergänzenden Seminare stehen auf der Themenübersicht Souveräne europäische KI.