Seminar Inferenz, Bereitstellung und Betrieb von Small Language Models

Ein kleines Modell ist erst dann wirtschaftlich, wenn es auf der vorgesehenen Hardware mit ausreichender Qualität, Latenz und Parallelität betrieben werden kann. Zwischen einem erfolgreichen Notebook und einem belastbaren Dienst liegen Modellformat, Speicherplanung, Batching, API-Grenzen, Mandantentrennung, Überwachung und ein reproduzierbarer Rollout.

Das Seminar behandelt lokale CPU- und GPU-Inferenz ebenso wie skalierte Bereitstellung. Die Übungen vergleichen unterschiedliche Engines und Quantisierungen anhand realer Messwerte statt anhand theoretischer Spitzenwerte.

Lernziele

Nach Abschluss des Seminars können die behandelten Verfahren fachlich eingeordnet, technisch angewendet und anhand nachvollziehbarer Kriterien bewertet werden.

• Modell, Präzision, Kontextlänge, Cache und Parallelität auf die Zielhardware abstimmen
• SLMs mit geeigneten Inferenz-Engines lokal und als Netzwerkdienst bereitstellen
• Stabile API-Verträge für Chat, Completion, Embeddings, strukturierte Ausgaben und Werkzeuge definieren
• Container, Gesundheitsprüfungen, Ressourcenlimits, Skalierung und Rollouts konfigurieren
• Qualität, Latenz, Durchsatz, Fehler und Ressourcenverbrauch im Betrieb überwachen

Seminarinhalte

Die Inhalte verbinden Grundlagen, Architekturentscheidungen und praktische Umsetzung in einer konsistenten Arbeitsumgebung.

Inferenzgrundlagen und Modellformate

• Gewichte, Tokenizer, Konfiguration, Chat-Template, Adapter und Quantisierungsmetadaten
• BF16, FP16, FP8, INT8, INT4 und GGUF im Verhältnis zu Hardware und Engine
• KV-Cache, Prefix Caching, Kontextlänge, Prefill, Decode, Batching und Speicherbedarf
• CPU-, GPU- und hybride Ausführung sowie Treiber- und Backendabhängigkeiten

Engines und API

• Transformers-basierte Inferenz für Entwicklung und Tests
• vLLM für GPU-Serving, dynamisches Batching, strukturierte Ausgaben und Multi-LoRA
• llama.cpp für kompakte lokale und Edge-orientierte Bereitstellung
• Streaming, Zeitüberschreitung, Abbruch, Rate Limits, Fehlercodes und idempotente Clients
• JSON-Schema, Tool Calling und Validierung vor nachgelagerten Aktionen
• Spekulatives Decoding, Modellkaskaden und Router nur nach gemessenem Nutzen

Container und Plattformbetrieb

• Unveränderliche Images, getrennte Modellartefakte, Registry und Prüfsummen
• GPU-Zuweisung, Ressourcenrequests, Limits, Volumes und Startzeiten
• Readiness, Liveness, Warmup und kontrolliertes Herunterfahren
• Kubernetes-Deployment, Services, Autoscaling, Node-Auswahl und Kapazitätsplanung
• Mehrere Modelle oder Adapter, Routing und Isolation

Leistung und Beobachtbarkeit

• Time to First Token, Time per Output Token, Tokens pro Sekunde und End-to-End-Latenz
• Lastprofile, Gleichzeitigkeit, Warteschlangen, Backpressure und Überlastschutz
• Metriken, strukturierte Logs, Traces, GPU- und Speicherauslastung
• Qualitätsstichproben, Datenschutz in Logs und Driftbeobachtung

Rollout und Betriebssicherheit

• Versionsvertrag zwischen Modell, Tokenizer, Adapter, Engine und Promptvorlage
• Canary, Blue-Green, A/B-Vergleich, Freigabegates und Rückfallversion
• Authentisierung, Autorisierung, Netzwerksegmentierung, Secrets und Mandantentrennung
• Runbooks für Kapazitätsengpässe, Qualitätsabfall und fehlerhafte Modellversionen

Praktische Übungen

Die Übungen werden an einem durchgängigen, produktneutralen Beispielszenario durchgeführt und mit prüfbaren Kriterien ausgewertet.

• Dasselbe Modell mit zwei Inferenz-Engines starten und Ressourcenprofile vergleichen
• Einen API-Dienst mit Streaming und strukturierter Ausgabe konfigurieren
• Container mit Gesundheitsprüfung und festen Ressourcenparametern erstellen
• Lasttest mit unterschiedlichen Kontext- und Ausgabelängen durchführen
• Monitoring-Ansicht, Alarmgrenzen und einen kontrollierten Modellwechsel aufbauen

Zielgruppe

Geeignet für Teams, die SLM-Prototypen in lokale, private oder skalierbare Produktionsumgebungen überführen. Der Schwerpunkt liegt auf messbarem Betrieb und einer klaren Trennung zwischen Modellartefakt und Plattformdienst.

Methodik

Fachliche Einordnung, Trainerdemonstrationen, geführte Laborabschnitte, eigenständige Übungen und gemeinsame Auswertung wechseln einander ab. Konfigurationen und Entscheidungen werden so dokumentiert, dass sie nach dem Seminar reproduzierbar bleiben.