Seminar AI-Infrastruktur für Administratoren: Inferenzplattformen und LLM-Serving

Ein lauffähiger Modellprozess ist noch kein produktiver Inferenzdienst. Modelle müssen reproduzierbar geladen, über stabile Schnittstellen angeboten, gegen Überlast geschützt, beobachtet und ohne unkontrollierte Unterbrechung aktualisiert werden. Bei großen Sprachmodellen kommen hohe Speicherbelegung, lange Ladezeiten, Token-basierte Last und mehrere Parallelisierungsebenen hinzu.

Das Seminar baut eine Inferenzplattform aus Sicht des Betriebs auf. Es vergleicht direkte Modellserver mit Kubernetes-basierten Serving-Schichten, behandelt Mehrknotenbetrieb, modellbewusstes Routing und getrennte Prefill- und Decode-Pfade. Stabile Funktionen werden klar von Vorschau- und experimentellen Verfahren getrennt, damit keine Laborfunktion versehentlich zur Produktionsgrundlage wird.

Zielgruppe

Linux- und Kubernetes-Administratoren, Plattformingenieure, DevOps- und MLOps-Teams sowie technische Betreiber lokaler oder privater Inferenzdienste.

Voraussetzungen

Sichere Linux- und Containerkenntnisse. Grundkenntnisse in Kubernetes, Netzwerken und GPU-Betrieb werden empfohlen. Entwicklungserfahrung mit AI-Modellen ist nicht erforderlich.

Seminarinhalte

Grundlagen des Inferenzbetriebs

• Online-, Batch- und Streaming-Inferenz sowie synchrone und asynchrone Aufrufe unterscheiden
• Modellgewichte, Tokenizer, Adapter, Quantisierungen, Kontextfenster und KV-Cache betrieblich einordnen
• Zeit bis zum ersten Token, Zeit je Ausgabetoken, Durchsatz, Warteschlange und Fehlerrate als Servicekennzahlen
• Chat-, Completions- und Responses-kompatible Schnittstellen, interne APIs und Gateway-Grenzen sauber trennen

Modellserver und Laufzeiten

• Einzelprozess, Mehrprozessbetrieb und containerisierte Modellserver bereitstellen
• vLLM und weitere Serving-Runtimes anhand von Hardwareunterstützung, Modellabdeckung und Betriebsreife vergleichen
• Continuous Batching, Prefix Caching, Paged Attention, speculative Decoding und Quantisierung in ihrer Wirkung verstehen
• Modell- und Laufzeitkompatibilität vor der Freigabe reproduzierbar prüfen

Verteilte Inferenz

• Tensor-, Pipeline-, Daten-, Experten- und Kontextparallelität unterscheiden und passend auswählen
• Einzelknoten- und Mehrknotenbetrieb mit ihren Netzwerk- und Fehlertoleranzanforderungen vergleichen
• Placement, Topologie, GPU-Gruppen und Modellreplikate kontrolliert konfigurieren
• Disaggregated Prefill und Decode, KV-Cache-Transfer sowie deren Reife- und Netzwerkanforderungen bewerten

Serving auf Kubernetes

• Deployment, Service, Gateway API und spezialisierte Inference-Ressourcen einordnen
• KServe InferenceService, LLMInferenceService, llm-d, Ray Serve und direkte Bereitstellung vergleichen
• Startup-, Readiness- und Liveness-Prüfungen für lange Modellladezeiten konfigurieren
• LeaderWorkerSet, Mehrknoten-Replikate, Ressourcenanforderungen und Topology-Awareness anwenden

Inference Gateway und modellbewusstes Routing

• Gateway API Inference Extension, InferencePool und InferenceModel betrieblich einordnen
• Endpoint Picker, Modellverfügbarkeit, KV-Cache-Lokalität und Echtzeitmetriken für Routing nutzen
• Prioritäten, kritische Anfragen, Traffic Splitting und modellabhängige Fallbacks konfigurieren
• Klassische HTTP-Lastverteilung von inferenzspezifischer Verkehrssteuerung unterscheiden

Skalierung, Routing und Schutz vor Überlast

• Replikate anhand von Anfragen, Warteschlangenlänge, Tokenrate und Beschleunigerauslastung skalieren
• Scale-to-zero, Warm Pools, ModelCache und vorab geladene Modelle hinsichtlich Kosten und Latenz bewerten
• Rate Limits, Quoten, Prioritäten, Admission Control und faire Ressourcennutzung umsetzen
• Modellrouting, Fallback, Canary-Bereitstellung und kontrollierte Umschaltung betreiben

Produktionsbetrieb und Fehleranalyse

• Modellkatalog, Versionen, Freigabestatus und Herkunft der Artefakte dokumentieren
• Metriken, strukturierte Protokolle und OpenTelemetry-Traces über Gateway, Server und Backend korrelieren
• Fehler bei Modellladung, Speicherknappheit, Zeitüberschreitung und instabiler Skalierung bearbeiten
• Änderungen mit Lasttest, Kapazitätsprüfung, Rückfallplan und Betriebsabnahme absichern

Praktische Übungen

• Einen lokalen LLM-Endpunkt containerisiert bereitstellen und mit Gesundheitsprüfungen absichern
• Batching, Kontextlänge und Parallelität verändern und die Auswirkungen auf Latenz und Durchsatz messen
• Einen LLMInferenceService mit Ressourcenanforderungen, ModelCache und Gerätezuweisung konfigurieren
• Ein Inference Gateway mit modellbewusstem Routing und Überlastschutz anhand erzeugter Last testen
• Ein Mehrknoten-Replikat aufbauen und einen Kommunikations- oder KV-Cache-Engpass analysieren
• Eine neue Modellversion per Canary ausrollen, Messwerte vergleichen und einen Rollback durchführen

Methodik

Die Plattform wird schrittweise von einem einzelnen Modellserver zu einem skalierbaren Dienst erweitert. Jede Änderung wird mit Funktions- und Lasttests überprüft. Der Schwerpunkt liegt auf Administration, Betrieb und Diagnose der Serving-Schicht.