Seminar Domänenspezifische Sprachmodelle entwickeln – Praxistraining

Dieses Praxistraining führt ein SLM-Projekt ohne Medienbruch von der Aufgabenbeschreibung bis zum lauffähigen Dienst. Ein überschaubares offenes Basismodell wird mit kuratierten Domänendaten angepasst, gegen eine unveränderte Baseline getestet und für eine kontrollierte Inferenzumgebung paketiert.

Der Schwerpunkt liegt auf Entscheidungen, die in realen Projekten über Qualität und Wartbarkeit bestimmen: belastbare Tests vor dem Training, datensparsame Anpassung, reproduzierbare Konfigurationen, Vergleich von Fine-Tuning und RAG, Ressourcenmessung, sichere API-Grenzen und dokumentierte Freigabekriterien.

Lernziele

Nach Abschluss des Seminars können die behandelten Verfahren fachlich eingeordnet, technisch angewendet und anhand nachvollziehbarer Kriterien bewertet werden.

• Einen domänenspezifischen Anwendungsfall in messbare Trainings- und Abnahmekriterien übersetzen
• Datenpipeline, Chat-Template, Tokenisierung und Dataset-Splits reproduzierbar implementieren
• Ein PEFT-Training mit LoRA oder QLoRA konfigurieren, überwachen und auswerten
• Fine-Tuning, RAG und kombinierte Ansätze anhand eigener Domänenmetriken vergleichen
• Modellartefakte quantisieren, versionieren, als API bereitstellen und unter Last prüfen
• Modellkarte, Datenblatt, Freigabeprotokoll und Betriebsparameter für die Übergabe erstellen

Seminarinhalte

Die Inhalte verbinden Grundlagen, Architekturentscheidungen und praktische Umsetzung in einer konsistenten Arbeitsumgebung.

Projektgrundlage und Baseline

• Aufgabenschema, Ein- und Ausgabeformat, Fehlerklassen und fachliche Akzeptanzgrenzen
• Auswahl eines passenden Basismodells unter Qualitäts-, Lizenz- und Hardwarekriterien
• Reproduzierbare Umgebung, Abhängigkeiten, Seeds, Konfigurationsdateien und Artefaktablage
• Zero-Shot- und Few-Shot-Baseline einschließlich Latenz- und Speicherprofil

Datenpipeline und Training

• Extraktion, Bereinigung, Deduplizierung, Annotation und Dataset-Validierung
• Chat-Templates, Maskierung, Sequenzlängen, Packing und Collation
• LoRA- und QLoRA-Konfiguration, Zielmodule, Ränge, Lernrate und Speicheroptimierung
• Training, Checkpoints, Logging, Fehlerdiagnose und kontrollierter Abbruch

Qualität und Architekturvergleich

• Domänenspezifische Goldensets, deterministische Metriken und rubric-basierte Bewertung
• Robustheitstests für Format, Abweisung, Grenzfälle, Mehrdeutigkeit und unerwünschtes Vergessen
• RAG-Prototyp mit Chunking, Retrieval und Kontextaufbereitung als Vergleichsbasis
• Entscheidung zwischen Adapter, RAG und hybrider Lösung anhand gemessener Resultate

Optimierung und Bereitstellung

• Adapter laden oder mergen, Quantisierungsvarianten und Qualitätskontrolle nach Konvertierung
• Lokaler Modellserver, API-Vertrag, strukturierte Ausgaben und Zeitüberschreitungen
• Batching, Parallelität, Durchsatz, Time to First Token und Speichergrenzen
• Containerisierung, Gesundheitsprüfung, Protokollierung und versionierter Rollout

Freigabe und Betrieb

• Bedrohungsmodell, Eingabegrenzen, sensible Daten, Ausgabebehandlung und Rechtekonzept
• Regressionstests, Canary-Verfahren, Rückfallversion und Änderungsnachweis
• Monitoring von Qualität, Latenz, Fehlern, Ressourcennutzung und Datendrift
• Technische Dokumentation für Modell, Daten, Tests und bekannte Einschränkungen

Praktische Übungen

Die Übungen werden an einem durchgängigen, produktneutralen Beispielszenario durchgeführt und mit prüfbaren Kriterien ausgewertet.

• Ein vollständiges Repository für Daten, Training, Evaluation und Serving einrichten
• Baseline und domänenspezifischen Testsatz erstellen
• Adaptertraining durchführen und Trainingsprobleme systematisch untersuchen
• RAG- und Fine-Tuning-Variante gegeneinander testen
• Quantisierte Inferenz bereitstellen und einen Lasttest auswerten
• Freigabepaket und Betriebsübergabe für das Laborprojekt erstellen

Zielgruppe

Konzipiert für Teilnehmende, die bereits Grundlagen besitzen und einen vollständigen Entwicklungszyklus selbst durchführen sollen. Durch den hohen Laboranteil sind vier Tage erforderlich; kürzere Formate würden Training, Evaluation oder Betriebsübergabe nur demonstrieren statt praktisch festigen.

Methodik

Fachliche Einordnung, Trainerdemonstrationen, geführte Laborabschnitte, eigenständige Übungen und gemeinsame Auswertung wechseln einander ab. Konfigurationen und Entscheidungen werden so dokumentiert, dass sie nach dem Seminar reproduzierbar bleiben.