Seminar Mistral AI – RAG und unternehmensinterne Wissensassistenten

Das Seminar führt durch den Aufbau eines Wissensassistenten für ein begrenztes internes Dokumentenarchiv. Die Verarbeitungskette wird so aufgebaut, dass die gefundenen Textstellen und die daraus gebildete Antwort getrennt untersucht werden können. Dadurch lassen sich unpassende Suchtreffer, fehlende Informationen und fehlerhafte Antwortgenerierung gezielt voneinander unterscheiden.

Neben einer eigenen Pipeline wird der Einsatz verwalteter Wissensfunktionen eingeordnet. Der Schwerpunkt liegt auf übertragbaren Architekturentscheidungen: geeignete Dokumentabschnitte, stabile Metadaten, Berechtigungsprüfung, Aktualisierung und fachliche Evaluation. Ein Vektorindex ersetzt keine Zugriffskontrolle und eine gefundene Passage garantiert noch keine richtige Antwort.

Inhaltsübersicht

1. RAG-Architektur und Testfragen
2. Dokumente und Abschnitte aufbereiten
3. Embeddings und Suche
4. Antworten aus Kontext erzeugen
5. Berechtigungen und Aktualisierung
6. Qualität systematisch prüfen

Seminarinhalte

RAG-Architektur und Testfragen

• Wissensspeicher, Retrieval, Kontextbildung und Modellantwort als getrennte Komponenten entwerfen.
• RAG, reines Prompting und Fine-Tuning anhand des Aktualisierungsbedarfs unterscheiden.
• Ein Fragenkorpus mit beantwortbaren, mehrdeutigen und unbeantwortbaren Fragen erstellen.

Dokumente und Abschnitte aufbereiten

• Dokumentformate vereinheitlichen und relevante Strukturmerkmale erhalten.
• Abschnittsgröße, Überschneidung und Metadaten auf Dokumenttyp und Fragen abstimmen.
• Versionen, Dokumentkennungen und Änderungsinformationen für spätere Aktualisierungen vorsehen.

Embeddings und Suche

• Ein geeignetes Embedding-Modell verwenden und Modell sowie Vektordimension konsistent halten.
• Dokumentabschnitte in einem vorbereiteten Vektorspeicher ablegen und Suchtreffer vergleichen.
• Lexikalische Suchsignale, Metadatenfilter und optionale Nachsortierung bedarfsgerecht ergänzen.

Antworten aus Kontext erzeugen

• Treffer auswählen, Kontextbudgets einhalten und Dubletten begrenzen.
• Antworten an bereitgestellte Inhalte binden und interne Dokumentnachweise für die Prüfung mitführen.
• Fehlende Belege, widersprüchliche Dokumente und unzulässige Anweisungen im Kontext behandeln.

Berechtigungen und Aktualisierung

• Benutzerrechte vor Retrieval beziehungsweise vor Übergabe an das Modell erzwingen.
• Einfügen, Ändern und Löschen von Dokumenten nachvollziehbar in den Index übernehmen.
• Verwaltete Libraries und selbst betriebene Wissensspeicher hinsichtlich Kontrolle und Integrationsaufwand vergleichen.

Qualität systematisch prüfen

• Retrieval-Treffer und Antwortqualität mit getrennten Messgrößen auswerten.
• Abschnittsbildung, Suchkonfiguration und Prompt anhand dokumentierter Fehler verändern.
• Zugriffsverletzungen, fehlende Antworten und gelöschte Inhalte in Regressionstests abdecken.

Praktische Übungen

1. Ein kleines internes Dokumentenarchiv vorbereiten und dazu fachliche Testfragen formulieren.
2. Dokumente aufteilen, Metadaten ergänzen und einen Vektorindex mit einem festen Embedding-Modell erstellen.
3. Eine Anfrage vom Suchtreffer bis zur belegten Antwort durch die gesamte Verarbeitungskette verfolgen.
4. Zwei Benutzerrollen, eine Dokumentänderung und eine Löschung in die Anwendung einbauen.
5. Such- und Antwortfehler getrennt messen und eine Konfigurationsänderung anhand derselben Testfragen bewerten.

Schulungsumgebung

Der Kunde stellt die Schulungsumgebung einschließlich der benötigten Zugänge, Nutzungsrechte und vereinbarten Ressourcen bereit. Erforderlich sind Python, API-Zugänge für Textgenerierung und Embeddings, ein vorbereiteter Vektorspeicher sowie freigegebene Textdokumente. Für die Übungen werden Testrollen und interne Dokumentkennungen verwendet. Ein vollständiger produktiver Wissensbestand muss nicht eingebunden werden.

Passende Vertiefungen

Die Auswahl richtet sich nach den jeweiligen Voraussetzungen der Folgeseminare.

• Mistral AI – Agenten, Tool Calling und MCP-Workflows
• Mistral AI – LLMOps, Evaluation und produktiver Betrieb
• Mistral-AI-Seminarübersicht