Seminar Architektur und Modellwahl für domänenspezifische Sprachmodelle

Kleine und domänenspezifische Sprachmodelle sind keine bloß verkleinerten Universalmodelle. Ihr Nutzen entsteht durch die präzise Abstimmung von Aufgabe, Daten, Modellfamilie, Anpassungsverfahren und Betriebsplattform. Das Seminar schafft die dafür erforderliche gemeinsame Sprache und trennt Modell, Wissenszugriff, Anwendungslogik und Sicherheitskontrollen sauber voneinander.

Im Mittelpunkt steht eine wirtschaftlich und technisch belastbare Auswahl. Bewertet werden nicht nur Parameterzahl und Ranglistenwerte, sondern auch Domänenqualität, Sprachabdeckung, Kontextlänge, strukturierte Ausgaben, Werkzeugaufrufe, Latenz, Durchsatz, Hardwarebedarf, Lizenzbedingungen und die Eignung für lokale oder abgeschottete Umgebungen.

Lernziele

Nach Abschluss des Seminars können die behandelten Verfahren fachlich eingeordnet, technisch angewendet und anhand nachvollziehbarer Kriterien bewertet werden.

• Anwendungsfälle in Extraktion, Klassifikation, Suche, Assistenz, Textgenerierung und Werkzeugsteuerung einordnen
• SLM, domänenspezifisches Modell, Embedding-Modell, Reranker und allgemeines Sprachmodell voneinander abgrenzen
• Prompting, RAG, Adapter-Fine-Tuning, vollständiges Fine-Tuning, Continued Pretraining und Distillation passend auswählen
• Qualitäts-, Kosten-, Datenschutz- und Betriebsanforderungen in eine gewichtete Entscheidungsmatrix überführen
• Eine Zielarchitektur mit Datenfluss, Inferenz, Kontrollen, Beobachtbarkeit und Rückfallmechanismen entwerfen

Seminarinhalte

Die Inhalte verbinden Grundlagen, Architekturentscheidungen und praktische Umsetzung in einer konsistenten Arbeitsumgebung.

Begriffe und Modellklassen

• Transformer-Grundlagen, Tokenisierung, Kontextfenster und Generationsparameter
• Warum die Parameterzahl allein keine verlässliche Definition eines Small Language Models liefert
• Aufgabenspezifische Encoder, generative Decoder, multimodale Modelle und spezialisierte Hilfsmodelle
• Grenzen kleiner Modelle bei Weltwissen, komplexem Schlussfolgern, langen Kontexten und Mehrsprachigkeit

Anforderungen und Auswahlkriterien

• Fachliche Gütekriterien, Fehlertoleranz, Antwortformat, Erklärbarkeit und menschliche Freigabe
• Latenz, Durchsatz, Parallelität, Speicherbedarf, Energiebedarf und Gesamtbetriebskosten
• Lizenz, Modellherkunft, Trainingsdokumentation, unterstützte Sprachen und Lebenszyklus
• CPU-, GPU-, Edge-, Rechenzentrums- und Kubernetes-Szenarien

Anpassungs- und Architekturentscheidungen

• Entscheidungsbaum für Prompt Engineering, RAG, Fine-Tuning und Kombinationen daraus
• Trennung von unveränderlichem Fachwissen, häufig wechselnden Fakten und Verhaltensanweisungen
• Referenzarchitektur für Datenaufnahme, Retrieval, Modellserver, API, Guardrails und Monitoring
• Fallback auf Regeln, Suche, größeres Modell oder menschliche Bearbeitung

Praktische Übungen

Die Übungen werden an einem durchgängigen, produktneutralen Beispielszenario durchgeführt und mit prüfbaren Kriterien ausgewertet.

• Anforderungen eines Beispielanwendungsfalls erfassen und messbar formulieren
• Mehrere Modellkandidaten anhand einer gewichteten Auswahlmatrix vergleichen
• Anpassungsweg und Betriebsziel für unterschiedliche Schutzbedarfe festlegen
• Eine kompakte Zielarchitektur einschließlich Kontroll- und Rückfallpfaden ausarbeiten

Zielgruppe

Geeignet für Rollen, die vor Beginn eines SLM-Projekts Architektur- und Beschaffungsentscheidungen treffen oder technische Fachbereiche beraten. Das Seminar dient zugleich als Einstieg in den vollständigen Lernpfad.

Methodik

Fachliche Einordnung, Trainerdemonstrationen, geführte Laborabschnitte, eigenständige Übungen und gemeinsame Auswertung wechseln einander ab. Konfigurationen und Entscheidungen werden so dokumentiert, dass sie nach dem Seminar reproduzierbar bleiben.