Seminar Serving und Inferenz mit KServe und vLLM

Ein lokal gestarteter Modellserver ist noch kein produktiver AI-Dienst. Für interne Anwendungen werden stabile APIs, reproduzierbare Modellstände, kontrollierter Ressourcenverbrauch, horizontale und verteilte Skalierung, sichere Zugriffe und beobachtbare Rollouts benötigt.

Das Seminar kombiniert vLLM als leistungsfähige Inferenzruntime mit KServe als Kubernetes-nativer Steuerungsebene. Der vollständige Pfad vom Modellartefakt bis zum lastgetesteten, versionierten Endpunkt wird praktisch aufgebaut.

Einordnung und Nutzen

Drei Tage sind erforderlich, da Modellruntime, Kubernetes-Steuerung, Gateway, Skalierung und Performance gemeinsam eingerichtet und unter Last geprüft werden. Ein reiner Quickstart würde die betriebskritischen Teile auslassen.

Zielgruppe

• AI-, ML- und Platform Engineering
• Kubernetes- und GPU-Administration
• MLOps, LLMOps und SRE

Voraussetzungen

• Kubernetes-Grundkenntnisse
• Grundverständnis von Sprachmodellen und HTTP-APIs
• Linux- und YAML-Kenntnisse

Lernziele

• Modelle reproduzierbar mit vLLM bereitstellen
• KServe-Ressourcen für generative Inferenz konfigurieren
• Gateway, Skalierung und Rollouts produktionsgerecht umsetzen
• Leistung und Fehler anhand geeigneter Messwerte analysieren

Seminarinhalte

Modell- und Runtime-Grundlagen

• Modellartefakte, Tokenizer, Präzision und Speicherbedarf
• vLLM-Prozess, OpenAI-kompatible Endpunkte und Streaming
• CPU-, Einzel-GPU- und Multi-GPU-Betriebsformen

KServe-Architektur

• Control Plane, Data Plane und Serving-Runtimes
• InferenceService für klassische und einfache generative Workloads
• LLMInferenceService und LLMInferenceServiceConfig auf Basis von llm-d für skalierbare LLM-Orchestrierung

Speicher, Cache und Startverhalten

• Modellspeicher, Persistent Volumes und lokaler Cache
• KV-Cache, Prefix-Cache, Offloading und cache-bewusstes Routing
• Warmstart, Modellladezeit, disaggregated prefill/decode als Architekturvariante und Kapazitätsreserve

Netzwerk und AI-Gateway

• Interne Services, Gateway API und TLS
• Authentisierung, Token- und Anfrageratenbegrenzung
• Routing, Zeitüberschreitungen und kontrollierte Fehlerantworten

Skalierung und Rollout

• Metrikbasiertes Autoscaling und Grenzen von Scale-to-zero
• Multi-Node- und Multi-GPU-Inferenz
• Canary, Versionierung, Health Checks und Rollback

Leistung und Betrieb

• Durchsatz, Time-to-first-token, Inter-token latency und Fehlerquote
• Continuous Batching, Parallelisierung und Speicherengpässe
• Lasttests, Metriken, Logs, Traces und Kapazitätsentscheidungen

Praktische Übungen

• Bereitstellung eines vLLM-Endpunkts mit Streaming
• Überführung in InferenceService und LLMInferenceService mit persistentem Modellcache
• Konfiguration von LLMInferenceServiceConfig, Gateway, Rate Limit und Autoscaling
• Vergleich von Standardrouting und cache-bewusstem Routing
• Lasttest mit Canary-Wechsel und systematischer Fehleranalyse

Methodik

Ein durchgängiges Labor verbindet Modellruntime, KServe, Gateway und Observability. Konfigurationsänderungen werden unter reproduzierbarer Last bewertet.