Seminar Fine-Tuning europäischer Sprachmodelle mit LoRA

Modellanpassung ist dann sinnvoll, wenn eine Aufgabe, ein Antwortformat oder ein bestimmtes Verhalten mit geeigneten Beispielen gezielt verbessert werden soll. Das Seminar untersucht zunächst, ob Prompting oder RAG das Problem bereits angemessen lösen. Anschließend wird ein kleiner, klar abgegrenzter Anpassungsversuch geplant und durchgeführt.

Die Übungen verwenden ein für LoRA geeignetes europäisches Modell und einen begrenzten Datensatz mit geprüften Nutzungsrechten. Trainingsdatenqualität, Trennung der Datensätze und Vergleich gegen das Ausgangsmodell haben Vorrang vor möglichst langen Trainingsläufen. Der Zusammenhang zwischen Modellrevision, Tokenizer, Adapter und Laufzeit wird dokumentiert, damit eine Anpassung reproduzierbar getestet und bei Bedarf zurückgenommen werden kann.

Zielgruppe

Machine-Learning-Engineering, Data Science, Python-Entwicklung und technische Teams mit Verantwortung für Modellanpassungen.

Voraussetzungen

Sichere Python-Kenntnisse, Grundlagen von Trainings- und Testdaten sowie Erfahrung mit lokaler Inferenz. Grundkenntnisse von PyTorch und GPU-Speicherverwaltung sind hilfreich.

Inhaltsübersicht

• Anpassungsziel und Baseline
• Trainingsdaten und Datenqualität
• LoRA und begrenzte Trainingsverfahren
• Trainingslauf und Diagnose
• Unabhängige Evaluation
• Artefakte und Bereitstellung

Seminarinhalte

Anpassungsziel und Baseline

• Prompting, RAG und Fine-Tuning anhand konkreter Verbesserungsziele abgrenzen.
• Eine unterstützte Modellarchitektur mit passenden Nutzungsrechten und Trainingswerkzeugen auswählen.
• Ausgangsqualität und Akzeptanzkriterien vor dem Training erfassen.

Trainingsdaten und Datenqualität

• Beispiele für die Zielaufgabe aufbereiten und in ein konsistentes Anweisungsformat überführen.
• Dubletten, sensible Informationen, widersprüchliche Antworten und unzulässige Inhalte erkennen.
• Training, Entwicklung und unabhängigen Test nach Dokumentherkunft beziehungsweise Vorgang trennen.

LoRA und begrenzte Trainingsverfahren

• Adapterprinzip, Rang, Zielmodule und trainierbare Parameter einordnen.
• Batchgröße, Sequenzlänge und Gradient Accumulation an vorhandene GPU-Ressourcen anpassen.
• Quantisierte Varianten nur bei geprüfter Unterstützung von Modell, Hardware und Bibliotheken einsetzen.

Trainingslauf und Diagnose

• Einen kurzen Probelauf ausführen und Eingabeformat, Tokenisierung und Speicherverbrauch prüfen.
• Trainings- und Validierungsverlauf beobachten und Überanpassung an konkreten Beispielen erkennen.
• Konfiguration, Zufallsstartwerte, Bibliotheksversionen und Kontrollpunkte dokumentieren.

Unabhängige Evaluation

• Ausgangsmodell und Adapter mit unveränderten Testfällen vergleichen.
• Aufgabenverbesserung, Nebenwirkungen und Robustheit getrennt bewerten.
• Eine Anpassung bei fehlendem Nutzen oder unvertretbaren Nebenwirkungen begründet verwerfen.

Artefakte und Bereitstellung

• Modellrevision, Tokenizer, Adapter und zulässige Weitergabe gemeinsam dokumentieren.
• Adaptergestützte Bereitstellung und gegebenenfalls Modellzusammenführung nach Laufzeitunterstützung prüfen.
• Einen kleinen Funktionstest am angepassten Endpunkt sowie die Rückkehr zum Ausgangsmodell durchführen.

Praxisübungen

1. Einen kleinen Datensatz bereinigen und eine Trennung nach Herkunft umsetzen, damit eng verwandte Beispiele nicht im unabhängigen Test landen.
2. Einen LoRA-Probelauf mit wenigen Schritten ausführen und fehlerhafte Formate oder zu große Sequenzen diagnostizieren.
3. Einen begrenzten Trainingslauf durchführen beziehungsweise vorab berechnete Kontrollpunkte auswerten und mit der Baseline vergleichen.
4. Einen freigegebenen Adapter bereitstellen, Funktionsprüfungen ausführen und das Ausgangsmodell wieder aktivieren.

Schulungsumgebung

Der Kunde stellt die Schulungsumgebung: geeignete GPU-Ressourcen, vorab geprüfte Trainingsbibliotheken, Modellgewichte, Tokenizer und freigegebene Beispieldaten. Modellgröße, Sequenzlänge und Trainingsumfang werden vorab an die Hardware angepasst. Vorbereitete Kontrollpunkte ermöglichen die Auswertung, falls ein längerer Lauf nicht in die Übungszeit passt.

Einordnung im Seminarprogramm

Die empfohlenen Lernpfade und ergänzenden Seminare stehen auf der Themenübersicht Souveräne europäische KI.