Seminar Retrieval-Augmented Generation mit domänenspezifischen Sprachmodellen

RAG stellt veränderliches oder zugriffsgeschütztes Fachwissen zur Laufzeit bereit, ohne es vollständig in Modellgewichte zu schreiben. Kleine Modelle profitieren besonders von präzisem Retrieval und knappem Kontext, reagieren aber empfindlich auf irrelevante Chunks, widersprüchliche Quellen und überlange Eingaben.

Das Seminar behandelt RAG als überprüfbare Daten- und Suchanwendung. Retrieval und Antwortgenerierung werden getrennt gemessen, damit Fehler nicht pauschal dem Sprachmodell zugeschrieben werden.

Lernziele

Nach Abschluss des Seminars können die behandelten Verfahren fachlich eingeordnet, technisch angewendet und anhand nachvollziehbarer Kriterien bewertet werden.

• Dokumente mit Provenienz, Zugriffsrechten und Aktualitätsmerkmalen aufnehmen
• Chunking, Embeddings, lexikalische Suche, Metadatenfilter und Reranking passend kombinieren
• Kontext für kleine Modelle budgetieren, ordnen, verdichten und gegen Konflikte absichern
• Antwortformate, Nachweisstellen, Ablehnung und Werkzeugaufrufe kontrollieren
• Retrieval- und Generationsqualität mit getrennten Goldensets und Metriken bewerten

Seminarinhalte

Die Inhalte verbinden Grundlagen, Architekturentscheidungen und praktische Umsetzung in einer konsistenten Arbeitsumgebung.

RAG-Architektur und Datenaufnahme

• Ingestion, Parser, Normalisierung, Dokument-ID, Version und Provenienz
• Zugriffsrechte, Mandanten, Löschung, Aktualisierung und Reindexierung
• Feste, semantische und strukturorientierte Chunking-Strategien
• Tabellen, Listen, Überschriften, Anhänge und dokumentübergreifende Zusammenhänge

Retrieval

• Embedding-Modell, Sprach- und Domäneneignung sowie Dimensions- und Speicherfragen
• Dichte, lexikalische und hybride Suche
• Metadatenfilter, Zeitstände, Berechtigungen und fachliche Facetten
• Query Rewriting, Multi-Query, HyDE-orientierte Verfahren und Dekomposition
• Cross-Encoder- oder generatives Reranking und Auswahl der Top-Kontexte

Kontext und Generierung

• Tokenbudget, Chunkreihenfolge, Kontextkompression und Umgang mit Redundanz
• Widerspruchserkennung, Aktualität, Prioritäten und kontrolliertes Nichtwissen
• Strukturierte Ausgabe, Fachsprache und Verweise auf verwendete Dokumentstellen
• Tool Calling für Suche, Nachladen und nachgelagerte Fachfunktionen

Sicherheit und Evaluation

• Indirekte Prompt Injection in Dokumenten, Datenabfluss und Zugriffskontrolle vor Retrieval
• Poisoning, manipulierte Metadaten und vertrauenswürdige Aufnahmeprozesse
• Recall, Precision, MRR, nDCG und fachliche Trefferbewertung
• Kontexttreue, Antwortrelevanz, Vollständigkeit, Faktentreue und Ablehnungsqualität
• Regressionstests bei Index-, Embedding-, Prompt- oder Modelländerungen

Praktische Übungen

Die Übungen werden an einem durchgängigen, produktneutralen Beispielszenario durchgeführt und mit prüfbaren Kriterien ausgewertet.

• Dokumente mit Metadaten und Berechtigungsmerkmalen ingestieren
• Mehrere Chunking- und Retrievalvarianten vergleichen
• Hybride Suche und Reranking zu einer Pipeline verbinden
• Kontextbudget und strukturierte Antwort für ein SLM konfigurieren
• Retrieval und Antwortqualität getrennt testen sowie Injection-Fälle abwehren

Zielgruppe

Geeignet für Teams, die aktuelles internes Wissen mit kleinen oder domänenspezifischen Modellen nutzbar machen. Das Seminar behandelt RAG unabhängig von einem bestimmten Vektor-Datenbankprodukt.

Methodik

Fachliche Einordnung, Trainerdemonstrationen, geführte Laborabschnitte, eigenständige Übungen und gemeinsame Auswertung wechseln einander ab. Konfigurationen und Entscheidungen werden so dokumentiert, dass sie nach dem Seminar reproduzierbar bleiben.