Seminar Weaviate Relevanzbewertung und Suchqualität

Dieses praxisorientierte Seminar behandelt Suchintents, Ground Truth, Offline-Evaluation, Precision, Recall, MRR, nDCG, qualitative Fehlerklassen, A/B-Vergleiche, Parameteroptimierung und Regressionstests. Alle Arbeitsschritte werden an einer durchgängigen Referenzumgebung ausgeführt, geprüft und in wiederverwendbaren Arbeitsvorlagen dokumentiert.

Inhaltsübersicht

• Qualitätsziel und Suchintents
• Testdatensatz und Ground Truth
• Metriken und Auswertung
• Retrieval-Experimente
• Fehleranalyse
• Regression und Betrieb
• Lernziele und Abnahmekriterien
• Praxisübungen und Betriebsdokumentation

Lernziele

• Anforderungen in den Bereichen Qualitätsziel und Suchintents, Retrieval-Experimente und Regression und Betrieb strukturiert analysieren und in eine umsetzbare Weaviate-Konfiguration überführen.
• Collections, Daten, Abfragen oder Betriebsparameter nachvollziehbar konfigurieren und mit reproduzierbaren Prüfungen verifizieren.
• Fehlersituationen systematisch eingrenzen, geeignete Diagnoseinformationen erfassen und belastbare Korrekturmaßnahmen ableiten.
• Qualität, Leistung, Sicherheit und Wartbarkeit anhand definierter Kriterien bewerten und die Lösung für den Regelbetrieb dokumentieren.

Schritt-für-Schritt-Inhalte

1. Qualitätsziel und Suchintents

Schwerpunkt: Nutzeraufgaben, Anfrageklassen, relevante Ergebnisse, geschäftliche Kosten, Latenzgrenzen und Akzeptanzkriterien.

1. Anforderungen für Qualitätsziel und Suchintents erfassen: Nutzeraufgaben, Anfrageklassen, relevante Ergebnisse, geschäftliche Kosten, Latenzgrenzen und Akzeptanzkriterien; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

2. Testdatensatz und Ground Truth

Schwerpunkt: repräsentative Anfragen, Kandidatenpool, Bewertungsrichtlinie, Urteilerabgleich, Versionierung und Datenschutz.

1. Anforderungen für Testdatensatz und Ground Truth erfassen: repräsentative Anfragen, Kandidatenpool, Bewertungsrichtlinie, Urteilerabgleich, Versionierung und Datenschutz; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

3. Metriken und Auswertung

Schwerpunkt: Precision, Recall, Hit Rate, MRR, MAP, nDCG, Kennzahlen pro Segment und Konfidenz.

1. Anforderungen für Metriken und Auswertung erfassen: Precision, Recall, Hit Rate, MRR, MAP, nDCG, Kennzahlen pro Segment und Konfidenz; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

4. Retrieval-Experimente

Schwerpunkt: Keyword-, Vektor- und Hybrid-Baseline, Alpha, Filter, Limits, Reranking, Chunking und Embedding-Varianten.

1. Anforderungen für Retrieval-Experimente erfassen: Keyword-, Vektor- und Hybrid-Baseline, Alpha, Filter, Limits, Reranking, Chunking und Embedding-Varianten; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

5. Fehleranalyse

Schwerpunkt: False Positives, False Negatives, Fachbegriffe, Mehrdeutigkeit, Aktualität, Metadatenfehler und systematische Ursachen.

1. Anforderungen für Fehleranalyse erfassen: False Positives, False Negatives, Fachbegriffe, Mehrdeutigkeit, Aktualität, Metadatenfehler und systematische Ursachen; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

6. Regression und Betrieb

Schwerpunkt: automatisierte Tests, Schwellenwerte, Vergleichsberichte, Freigabeprozess, Online-Signale und Qualitätsmonitoring.

1. Anforderungen für Regression und Betrieb erfassen: automatisierte Tests, Schwellenwerte, Vergleichsberichte, Freigabeprozess, Online-Signale und Qualitätsmonitoring; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

Praxisübungen

1. Übung 1: Qualitätsziel und Suchintents – Nutzeraufgaben, Anfrageklassen, relevante Ergebnisse, geschäftliche Kosten, Latenzgrenzen und Akzeptanzkriterien in einer vorbereiteten Referenzumgebung konfigurieren, ausführen, mit Negativtests prüfen und in einem Abnahmeprotokoll dokumentieren.
2. Übung 2: Testdatensatz und Ground Truth – repräsentative Anfragen, Kandidatenpool, Bewertungsrichtlinie, Urteilerabgleich, Versionierung und Datenschutz in einer vorbereiteten Referenzumgebung konfigurieren, ausführen, mit Negativtests prüfen und in einem Abnahmeprotokoll dokumentieren.
3. Übung 3: Metriken und Auswertung – Precision, Recall, Hit Rate, MRR, MAP, nDCG, Kennzahlen pro Segment und Konfidenz in einer vorbereiteten Referenzumgebung konfigurieren, ausführen, mit Negativtests prüfen und in einem Abnahmeprotokoll dokumentieren.
4. Übung 4: Retrieval-Experimente – Keyword-, Vektor- und Hybrid-Baseline, Alpha, Filter, Limits, Reranking, Chunking und Embedding-Varianten in einer vorbereiteten Referenzumgebung konfigurieren, ausführen, mit Negativtests prüfen und in einem Abnahmeprotokoll dokumentieren.

Zielgruppe

Search Engineers, Data Scientists, ML Engineers, Product Owner und Qualitätsverantwortliche für Such- oder RAG-Systeme.

Voraussetzungen

Grundkenntnisse in Weaviate-Sucharten und grundlegendes Verständnis statistischer Kennzahlen.