Seminar Sovereign AI Platform Engineer – Modelle, Daten, Training und LLMOps intensiv

Das Intensivformat richtet sich an technische Rollen, die Modelle und interne Daten als verlässliche Plattformdienste bereitstellen. Die Inhalte verdichten Serving, RAG, Training, Fine-Tuning, LLMOps, Governance und AI-Observability zu einem vollständigen Lebenszyklus.

Im Capstone wird ein Fine-Tuning-Job über Kueue zugelassen, das Modellartefakt registriert, evaluiert, über eine Pipeline freigegeben, als skalierbarer Endpunkt bereitgestellt und mit einer zugriffsgeschützten RAG-Datenstrecke verbunden. Metriken und Nachweise begleiten jeden Schritt.

Einordnung und Nutzen

Fünf Tage sind notwendig, um Serving, Datenpipeline, verteiltes Training, Registry, Evaluation, Tracing und Governance in einer realistischen End-to-End-Strecke zu integrieren. Spezialdetails der Einzelmodule werden verdichtet, der produktive Gesamtpfad bleibt vollständig.

Zielgruppe

• AI-, ML- und Data Engineering
• MLOps-, LLMOps- und Plattformteams
• Kubernetes-Administratoren mit Verantwortung für AI-Dienste

Voraussetzungen

• Kubernetes-Grundkenntnisse
• Grundlagen von Python, APIs und Datenverarbeitung
• Grundverständnis von Sprachmodellen, Embeddings und Evaluation

Lernziele

• Modelle kontrolliert trainieren, registrieren, evaluieren und bereitstellen
• RAG-Datenstrecken mit Zugriffsschutz und Qualitätsmessung betreiben
• Kubeflow Trainer, Pipelines v2, Kueue und MLflow 3 zu einem reproduzierbaren Lebenszyklus verbinden
• AI-Dienste mit Governance, SLO und Rollback produktionsreif steuern

Seminarinhalte

Tag 1: Modellruntime und Serving

• vLLM, Modellartefakte und OpenAI-kompatible APIs
• KServe InferenceService, LLMInferenceService und llm-d
• GPU, Modellcache, intelligentes Routing, Gateway und Lasttest

Tag 2: RAG-Datenplattform

• Ingestion, Segmentierung, Embeddings und Metadaten
• Objekt- und Vektorspeicher, Hybrid Search und Reranking
• Dokumentrechte, Aktualisierung und Löschung

Tag 3: Training und Fine-Tuning

• Kubeflow Trainer v2, TrainJob und Runtime-Definitionen
• Kueue, faire GPU-Zuteilung, Checkpoints und Wiederaufnahme
• LoRA/PEFT, verteilte Ausführung und Übergabe des Artefakts

Tag 4: LLMOps, Evaluation und Governance

• Kubeflow Pipelines v2, MLflow 3 Registry, Aliase und Datensatz-Lineage
• GenAI-Evaluation, Tracing, Freigabegates, Rollen und Evidenz
• Promotion, Canary und Rollback

Tag 5: Observability und Capstone

• Metriken, Logs, GenAI-Traces und Qualitätsindikatoren
• End-to-End-Bereitstellung vom Datensatz über Training und Registry zum AI-Endpunkt
• Störung, Diagnose, Rollback und technische Abnahme

Lebenszyklus und Betriebsmodell

• Änderungsarten für Modell, Prompt, Daten und Runtime
• Mandantentrennung, Aufbewahrung und Löschung
• Runbooks, SLO und kontinuierliche Verbesserung

Praktische Übungen

• Bereitstellung und Lasttest eines KServe-vLLM-Endpunkts
• Aufbau einer zugriffsgeschützten RAG-Datenstrecke
• Ausführung eines Kueue-gesteuerten Kubeflow-TrainJob mit Checkpoint
• Implementierung einer Kubeflow-Pipeline v2 mit MLflow-3-Registry und Tracing
• Automatisierte GenAI-Evaluation, kontrollierte Promotion und Capstone-Rollback

Methodik

Das fünftägige Labor verwendet durchgehend dieselben Modell-, Daten- und Plattformartefakte. Dadurch werden Lineage, Zugriffsregeln, Qualität und Betriebszustand gemeinsam nachvollziehbar.