Seminar RAG-Wissensassistenten mit Haystack und Qdrant entwickeln

Ein interner Wissensassistent benötigt mehr als einen Chat vor einem Dokumentenordner. Das Seminar verbindet eine nachvollziehbare Datenpipeline mit einer gezielten Suche und kontrollierter Antworterzeugung. Die Modellherkunft wird ebenso betrachtet wie die Herkunft und Rechte der Dokumente, die Einbettung der Anwendung und die Trennung verschiedener Benutzergruppen.

Mit Haystack und Qdrant entsteht schrittweise eine überschaubare RAG-Anwendung. Das Kürzel bezeichnet die Ergänzung generierter Antworten um zuvor gefundene Dokumentpassagen. Die Übungen behandeln lokale Embeddings, Suchqualität, Dokumentversionen und begrenzte Kontextfenster. Besondere Aufmerksamkeit gilt Fällen, in denen keine belastbare Antwort möglich ist oder ein Benutzer die passenden Dokumente nicht lesen darf.

Zielgruppe

Anwendungsentwicklung, Data Engineering, KI-Architektur, technische Wissensmanagement-Teams und DevOps mit Entwicklungsaufgaben.

Voraussetzungen

Python-Grundkenntnisse, HTTP- und JSON-Verständnis sowie Grundkenntnisse lokaler Sprachmodelle. Ein betriebsbereiter Modellendpunkt wird vorausgesetzt.

Inhaltsübersicht

• Architektur und Datenbestand
• Dokumentenaufbereitung und Indexierung
• Suche mit Haystack und Qdrant
• Antworten und Dokumentenzugriff
• Qualität und Regression
• Anwendungsintegration und Betriebsvorbereitung

Seminarinhalte

Architektur und Datenbestand

• Ingestion, Embeddings, Vektorspeicher, Retrieval und Antworterzeugung als getrennte Bausteine planen.
• Einen freigegebenen Dokumentenbestand mit Besitzern, Versionen und Zugriffsmerkmalen erfassen.
• Lokale oder freigegebene Embedding-Modelle nach Sprache, Lizenz und Laufzeitkompatibilität auswählen.

Dokumentenaufbereitung und Indexierung

• Textgewinnung, Bereinigung und Segmentierung auf die vorhandenen Dokumenttypen abstimmen.
• Metadaten, Dokumentkennung und Berechtigungen bis in den Suchindex erhalten.
• Wiederholbare Indexierung, Aktualisierung und kontrollierte Entfernung von Dokumenten umsetzen.

Suche mit Haystack und Qdrant

• Komponenten und Pipelines für Indexierung und Abfrage konfigurieren.
• Vektorsuche, Metadatenfilter und optional hybride Suche mit einer einfachen Baseline vergleichen.
• Rangfolge und Menge der gefundenen Passagen anhand repräsentativer Fragen abstimmen.

Antworten und Dokumentenzugriff

• Benutzerberechtigungen aus einer vertrauenswürdigen Anwendungsschicht in Suchfilter überführen.
• Dokumentpassagen klar als Daten kennzeichnen und Anweisungen aus Dokumenten von Systemregeln trennen.
• Belegstellen, nicht beantwortbare Fragen und widersprüchliche Dokumentversionen in der Antwortlogik behandeln.

Qualität und Regression

• Suchqualität und Antwortqualität mit getrennten Testfällen messen.
• Fehlende Treffer, falsche Passagen und unbelegte Aussagen gezielt voneinander unterscheiden.
• Eine Änderung an Chunking, Embeddings oder Prompt nur nach einem Vergleich gegen die Baseline übernehmen.

Anwendungsintegration und Betriebsvorbereitung

• Eine kleine API oder Bedienoberfläche an die RAG-Pipeline anbinden.
• Zeitüberschreitungen, Fehlerpfade und datensparsame Diagnoseinformationen implementieren.
• Dokumentenlöschung, Rechteänderung und Wiederherstellung in einem integrierten Funktionstest prüfen.

Praxisübungen

1. Einen Dokumentenbestand mit zwei Benutzergruppen indexieren und die Durchgängigkeit von Metadaten und Berechtigungen kontrollieren.
2. Eine Haystack-Abfragepipeline erstellen und mehrere Suchvarianten mit einem festgelegten Fragenkatalog vergleichen.
3. Einen Zugriff auf fremde Dokumente und eine eingeschleuste Dokumentenanweisung mit Negativtests prüfen.
4. Ein Dokument aktualisieren und ein weiteres löschen; anschließend Suchergebnis und Antwortverhalten erneut kontrollieren.

Schulungsumgebung

Der Kunde stellt die Schulungsumgebung: Python-Arbeitsplätze, vorbereiteten Qdrant-Dienst, kompatible Haystack-Version, lokalen Modellendpunkt und einen freigegebenen Dokumentenbestand. Embedding-Modelle und Softwarepakete werden in passenden Versionen bereitgestellt. Für Rollenprüfungen stehen getrennte Testidentitäten zur Verfügung.

Einordnung im Seminarprogramm

Die empfohlenen Lernpfade und ergänzenden Seminare stehen auf der Themenübersicht Souveräne europäische KI.