Seminar AI-Infrastruktur für Administratoren: Intensivseminar Produktiver Betrieb und Resilienz

Der zweite Teil des Intensivpfads beginnt dort, wo eine technisch lauffähige Plattform in einen verlässlichen Dienst überführt werden muss. Inferenzendpunkte benötigen messbare Serviceziele, Schutz vor Überlast, kontrollierte Modellversionen, nachvollziehbare Zugriffe und Wiederanlaufverfahren. Diese Aufgaben greifen eng ineinander und werden daher gemeinsam behandelt.

Die Seminarumgebung wird zu einem produktionsnahen LLM-Dienst ausgebaut. Last, Modellserver, Gateway, Cluster, Beschleuniger und Speicher werden Ende zu Ende überwacht. Anschließend werden Sicherheitskontrollen, Rollouts, Backup und Ausfallszenarien angewendet, bis ein prüfbarer Betriebszustand entsteht.

Zielgruppe

Erfahrene Plattform-, Kubernetes-, Security- und Betriebsadministratoren, DevOps- und MLOps-Teams sowie technische Verantwortliche für produktive AI-Dienste.

Voraussetzungen

Sichere Linux-, Container- und Kubernetes-Kenntnisse sowie Grundkenntnisse zu GPU-Ressourcen, Speicher und Netzwerken. Der vorherige Besuch des Intensivseminars Plattform- und GPU-Betrieb oder gleichwertige Praxis wird empfohlen.

Seminarinhalte

Inferenzarchitektur und Serviceziele

• Batch-, Online- und Streaming-Inferenz mit passenden Latenz-, Durchsatz- und Verfügbarkeitszielen verbinden
• Gateway, Routing, Modellserver, Scheduler, Modellablage und Telemetrie als Dienstkette strukturieren
• OpenAI-kompatible Endpunkte, interne APIs, Authentisierung und Mandantengrenzen festlegen
• Zeit bis zum ersten Token, Tokenrate, Warteschlange, Fehlerquote und Sättigung als SLIs definieren

LLM-Serving und Parallelisierung

• Modellserver containerisieren, Gesundheitsprüfungen konfigurieren und lange Ladezeiten berücksichtigen
• Batching, KV-Cache, Prefix Caching, Quantisierung und Kontextgrenzen betrieblich abstimmen
• Tensor-, Pipeline-, Daten-, Experten- und Kontextparallelität für Einzel- und Mehrknotenbetrieb auswählen
• Disaggregiertes Prefill und Decode sowie KV-Cache-Transfer mit klarer Reifegradbewertung einordnen
• Modellreplikate, Adapter, Versionen und Freigabestatus kontrolliert verwalten

Skalierung und Verkehrssteuerung

• Anfrage-, Warteschlangen- und Tokenmetriken für horizontale Skalierung nutzen
• Warm Pools, Scale-to-zero und Vorladeverfahren anhand von Kosten und Startlatenz bewerten
• LLMInferenceService, LeaderWorkerSet und ModelCache für verteilte Serving-Workloads einordnen
• InferencePool, InferenceModel und modellbewusstes Routing nach Cachelokalität und Last bewerten
• Rate Limits, Quoten, Prioritäten, Admission Control und faire Nutzung kombinieren
• Canary, Blue-Green, Fallback und Rollback für Modelle und Serving-Runtimes durchführen

Observability und Fehlerdiagnose

• Host-, Kubernetes-, GPU-, Storage-, Netzwerk- und Inferenzmetriken in einem Messmodell verbinden
• Prometheus, herstellerneutrale GPU-Telemetrie und OpenTelemetry-Semantik für generative AI konsistent kennzeichnen
• Baseline, Lastprofil, Sättigungspunkt und Kapazitätsreserve reproduzierbar bestimmen
• Speicherfehler, Drosselung, Datenengpass, Warteschlange und Netzwerkproblem systematisch unterscheiden

Performance- und Kapazitätsmanagement

• Modellgröße, Zahlenformat, Kontext, Parallelität und KV-Cache in VRAM-Bedarf übersetzen
• Durchsatz und Latenz unter realistischer Ankunftsrate und gemischten Anfragegrößen messen
• Beschleuniger-, CPU-, RAM-, Storage- und Netzkapazität gemeinsam planen
• Kapazitätsbericht, Schwellenwerte und Beschaffungsvorlauf in einen Regelprozess überführen

Sicherheit und Mandantenfähigkeit

• SSO, Dienstidentitäten, kurzlebige Zugangsdaten, RBAC und API-Autorisierung umsetzen
• Namespaces, Netzwerkpolicies, Quoten, Knotentrennung und DRA-Autorisierung als Isolationsschichten einsetzen
• Registries, Images, Softwareartefakte und Modelle mit Signaturen, Prüfsummen und Freigaben absichern
• Geheimnisse, Nutzdaten, Promptprotokolle und Telemetrie nach Schutzbedarf behandeln
• Vertrauliche Container, zusammengesetzte Attestierung und attestierungsgebundene Geheimnisfreigabe bewerten

Hochverfügbarkeit und Sicherung

• Fehlerdomänen für Pod, Knoten, Rack, Speicher, Netzwerk und Standort abbilden
• Control Plane, Modellablage, Registry, Datenbanken und Inferenzendpunkte redundant auslegen
• Modelle, Adapter, Vektordaten, Konfigurationen, Metadaten und Schlüssel differenziert sichern
• RPO, RTO, Notkapazität und geordnete Wiederanlaufsequenzen dokumentieren

Notfalltest und Betriebsabnahme

• Ausfall- und Wiederherstellungsszenarien mit messbaren technischen und funktionalen Kriterien planen
• Einen kontrollierten Restore durchführen und Abhängigkeiten in der richtigen Reihenfolge starten
• Notbetrieb, Rückkehr zum Normalbetrieb und Datenabgleich absichern
• Runbooks, offene Risiken, Verantwortlichkeiten und erneute Wirksamkeitstests festhalten

Praktische Übungen

• Einen LLMInferenceService mit Gateway, Gesundheitsprüfungen, ModelCache und kontrollierter Modellversion bereitstellen
• Eine realistische Last erzeugen und Latenz, Tokenrate, Warteschlange und GPU-Sättigung korrelieren
• Modellbewusstes Routing, Autoskalierung, Rate Limit und Priorisierung für zwei Mandanten testen
• Eine neue Modellversion per Canary ausrollen und anhand definierter Messwerte bewerten
• Zugriffsrechte, Netzwerkgrenzen, Geheimnisse und Artefaktprüfung für den Dienst absichern
• Sicherungsumfang und Wiederanlaufreihenfolge für Plattform und Modelle umsetzen
• Einen kombinierten Knoten- und Speicherfehler bearbeiten und die Wiederherstellung nachweisen

Methodik

Ein produktionsnahes Betriebsszenario verbindet Serving, Lasttest, Überwachung, Sicherheit und Wiederherstellung. Jede Konfiguration wird praktisch geprüft; Störungen werden anhand derselben Telemetrie und Runbooks bearbeitet, die zuvor aufgebaut wurden.