Seminar Mistral AI – Intensivseminar Self-Hosting, Fine-Tuning und LLMOps

Dieses Intensivseminar verbindet Self-Hosting, LoRA-Anpassung und LLMOps zu einem durchgängigen technischen Arbeitsgang. Ein geeignetes offenes Mistral-Modell wird in einer vorbereiteten Umgebung bereitgestellt, an einer kleinen Aufgabe angepasst und anhand unabhängiger Kriterien bewertet. Anschließend wird der Modellwechsel in einer Testanwendung nachvollzogen.

Der Umfang ist auf einen geprüften Modellaufbau und ein eng begrenztes Trainingsziel zugeschnitten. Vorinstallierte GPU-Treiber, bereitliegende Gewichte und vorbereitete Checkpoints verkürzen Warte- und Einrichtungszeiten. Eigenständiger Clusteraufbau, vollständiges Vortraining und umfangreiche Hyperparameterstudien gehören nicht zur praktischen Durchführung.

Die Übungen legen besonderes Gewicht auf den Zusammenhang zwischen Qualitätsgewinn und Betriebsfähigkeit. Ein Modell wird nicht allein wegen eines sinkenden Trainingsfehlers freigegeben; fachliche Testfälle, Laufzeit, Ressourcenverbrauch und eine verlässliche Rücknahme werden gemeinsam beurteilt.

Inhaltsübersicht

1. Modell und Laufzeit bereitstellen
2. Zugriff und Betriebsgrenzen
3. Daten und begrenztes LoRA-Training
4. Unabhängige Modellbewertung
5. LLMOps und Freigabe
6. Störung und Rücknahme

Seminarinhalte

Modell und Laufzeit bereitstellen

• Hardware, Artefakte, Nutzungsrechte und Versionen im vorbereiteten Labor prüfen.
• Ein geeignetes Modell mit vLLM aus einem lokalen Artefaktbestand starten.
• API-Funktion, Tokenizer und Kontextbegrenzung mit einer Baseline verifizieren.

Zugriff und Betriebsgrenzen

• Netzzugriff, Authentifizierung und Anfragebegrenzungen für die Testanwendung konfigurieren.
• Parallelität und Speicherverbrauch in einer kurzen Lastmessung untersuchen.
• Konfiguration und Modellartefakte für eine reproduzierbare Wiederherstellung sichern.

Daten und begrenztes LoRA-Training

• Einen vorbereiteten Datensatz prüfen und Training, Validierung und Test konsequent trennen.
• Chat-Template, Adapterkonfiguration und den Speicherbedarf eines kurzen Laufs kontrollieren.
• Einen kleinen Anpassungslauf ausführen und bei längeren Laufzeiten mit vorbereiteten Checkpoints weiterarbeiten.

Unabhängige Modellbewertung

• Basismodell, Prompt-Baseline und Adapter mit denselben unbekannten Testfällen vergleichen.
• Fachliche Verbesserungen, Formatfehler und unerwünschte Veränderungen getrennt auswerten.
• Adapter und Basismodellversion als zusammengehörige Bereitstellungseinheit dokumentieren.

LLMOps und Freigabe

• Modellaufrufe, Laufzeit und Ressourcenverbrauch datensparsam beobachten.
• Ein begrenztes Qualitätstor für Modell- und Konfigurationsänderungen einrichten.
• Den geeigneten Modellstand kontrolliert in die vorbereitete Testanwendung übernehmen.

Störung und Rücknahme

• Einen Fehler nach einem Modellwechsel anhand von Messdaten eingrenzen.
• Zur vorherigen Modell- und Konfigurationsversion zurückkehren.
• Einen Wiederherstellungslauf einschließlich Funktionsprüfung und dokumentierter Betriebsgrenzen durchführen.

Praktische Übungen

1. Den GPU-Laboraufbau prüfen, vLLM starten und einen funktionierenden Ausgangsstand dokumentieren.
2. Den Dienstzugang absichern und eine kleine Lastmessung mit begrenzter Parallelität durchführen.
3. Einen bereinigten Datensatz für einen kurzen LoRA-Lauf verwenden und die Adapterkonfiguration sichern.
4. Das angepasste Modell unabhängig bewerten und nur bei erfüllten Kriterien in die Testanwendung übernehmen.
5. Einen Fehlerfall auslösen und den vorherigen funktionsfähigen Stand einschließlich Konfiguration wiederherstellen.

Schulungsumgebung

Der Kunde stellt die Schulungsumgebung einschließlich der benötigten Zugänge, Nutzungsrechte und vereinbarten Ressourcen bereit. Erforderlich ist eine vorab vollständig eingerichtete GPU-Umgebung mit abgestimmten Versionen für Inferenz und Training. Modellgewichte, Rechte, Container-Images, Trainingsdaten und Checkpoints müssen lokal vorliegen. Die praktische Arbeit beschränkt sich auf die vereinbarte Hardware und ein kompatibles Modell.

Passende Vertiefungen

Die Auswahl richtet sich nach den jeweiligen Voraussetzungen der Folgeseminare.

• Mistral AI – Sicherheit, Governance und Unternehmenseinführung
• Mistral-AI-Seminarübersicht