Seminar Valkey Search, JSON und Vektorsuche

Such- und Vektorfunktionen erweitern Valkey von einem Datenstrukturserver zu einer Plattform für indizierte JSON- und Hash-Daten. Das Seminar verbindet Dokumentmodell, Indexdesign, Volltext-, Filter- und Vektorsuche mit Ingestion, Aktualisierung, Security, Clusterbetrieb und Performance.

Inhaltsübersicht

1. Lernziele und fachliche Einordnung
2. Anwendungsfälle und Lösungsarchitektur
3. Dokumentmodell mit Hashes und JSON
4. Indexschema und Lebenszyklus
5. Textsuche, Filter und Aggregation
6. Vektordaten und Ähnlichkeitssuche
7. Hybride Suche und Ranking
8. Ingestion, Aktualisierung und Konsistenz
9. Cluster, Security und Betrieb
10. Praxislabor
11. Zielgruppe, Voraussetzungen und Arbeitsweise

Lernziele

Kapitelübersicht: Geeignete Anwendungsfälle und Grenzen von Search, JSON und Vektorsuche bestimmen; Dokumente in Hashes oder JSON konsistent modellieren und indexieren; Text-, numerische, Tag-, Geo- und Sortierabfragen entwerfen; Vektorindizes und Ähnlichkeitssuche nach Qualitäts- und Leistungszielen konfigurieren.

• Geeignete Anwendungsfälle und Grenzen von Search, JSON und Vektorsuche bestimmen.
• Dokumente in Hashes oder JSON konsistent modellieren und indexieren.
• Text-, numerische, Tag-, Geo- und Sortierabfragen entwerfen.
• Vektorindizes und Ähnlichkeitssuche nach Qualitäts- und Leistungszielen konfigurieren.
• Ingestion, Aktualisierung, Skalierung, Security und Monitoring produktionsfähig planen.

Kapitel 1: Anwendungsfälle und Lösungsarchitektur

Kapitelübersicht: Katalogsuche, Dokumentfilter, semantische Suche und Retrieval-Szenarien abgrenzen; Primärspeicher, Suchindex und Quellsystem als Konsistenzmodell darstellen; Latenz-, Aktualitäts-, Qualitäts- und Speicherziele festlegen; Standarddatenstrukturen und Suchfunktionen nach Komplexität und Nutzen auswählen.

• Katalogsuche, Dokumentfilter, semantische Suche und Retrieval-Szenarien abgrenzen.
• Primärspeicher, Suchindex und Quellsystem als Konsistenzmodell darstellen.
• Latenz-, Aktualitäts-, Qualitäts- und Speicherziele festlegen.
• Standarddatenstrukturen und Suchfunktionen nach Komplexität und Nutzen auswählen.

Schritt-für-Schritt-Praxis

1. Ausgangslage und Zielkriterien erfassen: Katalogsuche, Dokumentfilter, semantische Suche und Retrieval-Szenarien abgrenzen.
2. Konfiguration oder Implementierung aufbauen: Primärspeicher, Suchindex und Quellsystem als Konsistenzmodell darstellen.
3. Normal-, Grenz- und Fehlerfall prüfen: Latenz-, Aktualitäts-, Qualitäts- und Speicherziele festlegen.
4. Betriebsentscheidung und Prüfnachweis festhalten: Standarddatenstrukturen und Suchfunktionen nach Komplexität und Nutzen auswählen.

Kapitel 2: Dokumentmodell mit Hashes und JSON

Kapitelübersicht: Felder, Datentypen, verschachtelte Strukturen und Schlüsselkonventionen entwerfen; Teilupdates, Löschung und Schemaentwicklung kontrolliert abbilden; Dokumentgröße und Redundanz gegen Abfragekomfort und Indexkosten abwägen; Beispieldokumente mit Validierungsregeln und Testfällen vorbereiten.

• Felder, Datentypen, verschachtelte Strukturen und Schlüsselkonventionen entwerfen.
• Teilupdates, Löschung und Schemaentwicklung kontrolliert abbilden.
• Dokumentgröße und Redundanz gegen Abfragekomfort und Indexkosten abwägen.
• Beispieldokumente mit Validierungsregeln und Testfällen vorbereiten.

Schritt-für-Schritt-Praxis

1. Ausgangslage und Zielkriterien erfassen: Felder, Datentypen, verschachtelte Strukturen und Schlüsselkonventionen entwerfen.
2. Konfiguration oder Implementierung aufbauen: Teilupdates, Löschung und Schemaentwicklung kontrolliert abbilden.
3. Normal-, Grenz- und Fehlerfall prüfen: Dokumentgröße und Redundanz gegen Abfragekomfort und Indexkosten abwägen.
4. Betriebsentscheidung und Prüfnachweis festhalten: Beispieldokumente mit Validierungsregeln und Testfällen vorbereiten.

Kapitel 3: Indexschema und Lebenszyklus

Kapitelübersicht: Indexquelle, Präfixe, Feldtypen und Optionen aus den Abfragen ableiten; Text-, Tag-, numerische, Geo- und Sortierfelder gezielt definieren; Indexaufbau, Fortschritt, Fehler und Speicherverbrauch überwachen; Schemaänderung, Neuindexierung und Rollback als Betriebsprozess planen.

• Indexquelle, Präfixe, Feldtypen und Optionen aus den Abfragen ableiten.
• Text-, Tag-, numerische, Geo- und Sortierfelder gezielt definieren.
• Indexaufbau, Fortschritt, Fehler und Speicherverbrauch überwachen.
• Schemaänderung, Neuindexierung und Rollback als Betriebsprozess planen.

Schritt-für-Schritt-Praxis

1. Ausgangslage und Zielkriterien erfassen: Indexquelle, Präfixe, Feldtypen und Optionen aus den Abfragen ableiten.
2. Konfiguration oder Implementierung aufbauen: Text-, Tag-, numerische, Geo- und Sortierfelder gezielt definieren.
3. Normal-, Grenz- und Fehlerfall prüfen: Indexaufbau, Fortschritt, Fehler und Speicherverbrauch überwachen.
4. Betriebsentscheidung und Prüfnachweis festhalten: Schemaänderung, Neuindexierung und Rollback als Betriebsprozess planen.

Kapitel 4: Textsuche, Filter und Aggregation

Kapitelübersicht: Tokenisierung, Sprache, Gewichtung und genaue Filterung fachlich abstimmen; Abfragen mit Text, Tags, Zahlenbereichen und Geodaten kombinieren; Sortierung, Projektion, Pagination und Aggregation effizient gestalten; Trefferqualität und Laufzeit anhand eines definierten Testkorpus bewerten.

• Tokenisierung, Sprache, Gewichtung und genaue Filterung fachlich abstimmen.
• Abfragen mit Text, Tags, Zahlenbereichen und Geodaten kombinieren.
• Sortierung, Projektion, Pagination und Aggregation effizient gestalten.
• Trefferqualität und Laufzeit anhand eines definierten Testkorpus bewerten.

Schritt-für-Schritt-Praxis

1. Ausgangslage und Zielkriterien erfassen: Tokenisierung, Sprache, Gewichtung und genaue Filterung fachlich abstimmen.
2. Konfiguration oder Implementierung aufbauen: Abfragen mit Text, Tags, Zahlenbereichen und Geodaten kombinieren.
3. Normal-, Grenz- und Fehlerfall prüfen: Sortierung, Projektion, Pagination und Aggregation effizient gestalten.
4. Betriebsentscheidung und Prüfnachweis festhalten: Trefferqualität und Laufzeit anhand eines definierten Testkorpus bewerten.

Kapitel 5: Vektordaten und Ähnlichkeitssuche

Kapitelübersicht: Embedding-Dimension, Datentyp, Distanzmaß und Normalisierung festlegen; Exakte und approximative Suche nach Datenmenge und Latenzziel auswählen; Vektorfelder und Suchparameter mit kontrollierten Beispielen konfigurieren; Recall, Latenz und Speicherbedarf über reproduzierbare Messungen vergleichen.

• Embedding-Dimension, Datentyp, Distanzmaß und Normalisierung festlegen.
• Exakte und approximative Suche nach Datenmenge und Latenzziel auswählen.
• Vektorfelder und Suchparameter mit kontrollierten Beispielen konfigurieren.
• Recall, Latenz und Speicherbedarf über reproduzierbare Messungen vergleichen.

Schritt-für-Schritt-Praxis

1. Ausgangslage und Zielkriterien erfassen: Embedding-Dimension, Datentyp, Distanzmaß und Normalisierung festlegen.
2. Konfiguration oder Implementierung aufbauen: Exakte und approximative Suche nach Datenmenge und Latenzziel auswählen.
3. Normal-, Grenz- und Fehlerfall prüfen: Vektorfelder und Suchparameter mit kontrollierten Beispielen konfigurieren.
4. Betriebsentscheidung und Prüfnachweis festhalten: Recall, Latenz und Speicherbedarf über reproduzierbare Messungen vergleichen.

Kapitel 6: Hybride Suche und Ranking

Kapitelübersicht: Semantische Ähnlichkeit mit strukturierten Filtern kombinieren; Vorfilterung, Nachfilterung und Kandidatenmenge auf Qualität und Laufzeit prüfen; Text- und Vektorsignale in einer nachvollziehbaren Rankingstrategie verbinden; Grenzfälle, leere Treffer und unplausible Resultate mit Testsets untersuchen.

• Semantische Ähnlichkeit mit strukturierten Filtern kombinieren.
• Vorfilterung, Nachfilterung und Kandidatenmenge auf Qualität und Laufzeit prüfen.
• Text- und Vektorsignale in einer nachvollziehbaren Rankingstrategie verbinden.
• Grenzfälle, leere Treffer und unplausible Resultate mit Testsets untersuchen.

Schritt-für-Schritt-Praxis

1. Ausgangslage und Zielkriterien erfassen: Semantische Ähnlichkeit mit strukturierten Filtern kombinieren.
2. Konfiguration oder Implementierung aufbauen: Vorfilterung, Nachfilterung und Kandidatenmenge auf Qualität und Laufzeit prüfen.
3. Normal-, Grenz- und Fehlerfall prüfen: Text- und Vektorsignale in einer nachvollziehbaren Rankingstrategie verbinden.
4. Betriebsentscheidung und Prüfnachweis festhalten: Grenzfälle, leere Treffer und unplausible Resultate mit Testsets untersuchen.

Kapitel 7: Ingestion, Aktualisierung und Konsistenz

Kapitelübersicht: Batch-, Streaming- und ereignisbasierte Datenzufuhr gegenüberstellen; Idempotente Upserts, Versionen und Löschereignisse implementieren; Indexierungsverzug und fehlerhafte Dokumente messbar behandeln; Rebuild, Backfill und Umschaltung ohne unkontrollierte Suchlücke planen.

• Batch-, Streaming- und ereignisbasierte Datenzufuhr gegenüberstellen.
• Idempotente Upserts, Versionen und Löschereignisse implementieren.
• Indexierungsverzug und fehlerhafte Dokumente messbar behandeln.
• Rebuild, Backfill und Umschaltung ohne unkontrollierte Suchlücke planen.

Schritt-für-Schritt-Praxis

1. Ausgangslage und Zielkriterien erfassen: Batch-, Streaming- und ereignisbasierte Datenzufuhr gegenüberstellen.
2. Konfiguration oder Implementierung aufbauen: Idempotente Upserts, Versionen und Löschereignisse implementieren.
3. Normal-, Grenz- und Fehlerfall prüfen: Indexierungsverzug und fehlerhafte Dokumente messbar behandeln.
4. Betriebsentscheidung und Prüfnachweis festhalten: Rebuild, Backfill und Umschaltung ohne unkontrollierte Suchlücke planen.

Kapitel 8: Cluster, Security und Betrieb

Kapitelübersicht: Daten- und Indexverteilung auf Slots, Knoten und Replikas abstimmen; ACL, TLS und minimale Befehlsrechte für Ingestion und Suche konfigurieren; Latenz, Indexgröße, Fehler, Aktualitätsverzug und Hotspots überwachen; Backup, Restore, Upgrade und Performanceabnahme in Runbooks überführen.

• Daten- und Indexverteilung auf Slots, Knoten und Replikas abstimmen.
• ACL, TLS und minimale Befehlsrechte für Ingestion und Suche konfigurieren.
• Latenz, Indexgröße, Fehler, Aktualitätsverzug und Hotspots überwachen.
• Backup, Restore, Upgrade und Performanceabnahme in Runbooks überführen.

Schritt-für-Schritt-Praxis

1. Ausgangslage und Zielkriterien erfassen: Daten- und Indexverteilung auf Slots, Knoten und Replikas abstimmen.
2. Konfiguration oder Implementierung aufbauen: ACL, TLS und minimale Befehlsrechte für Ingestion und Suche konfigurieren.
3. Normal-, Grenz- und Fehlerfall prüfen: Latenz, Indexgröße, Fehler, Aktualitätsverzug und Hotspots überwachen.
4. Betriebsentscheidung und Prüfnachweis festhalten: Backup, Restore, Upgrade und Performanceabnahme in Runbooks überführen.

Praxislabor

Kapitelübersicht: Ein JSON- oder Hash-Dokumentmodell und ein passendes Indexschema aufbauen; Text-, Filter-, Sortier- und Aggregationsabfragen für einen Beispielkatalog implementieren; Einen Vektorindex erstellen und exakte sowie approximative Suche vergleichen; Eine hybride Suche mit Ingestion, Aktualisierung, Qualitätsmessung und Monitoring abnehmen.

1. Ein JSON- oder Hash-Dokumentmodell und ein passendes Indexschema aufbauen.
2. Text-, Filter-, Sortier- und Aggregationsabfragen für einen Beispielkatalog implementieren.
3. Einen Vektorindex erstellen und exakte sowie approximative Suche vergleichen.
4. Eine hybride Suche mit Ingestion, Aktualisierung, Qualitätsmessung und Monitoring abnehmen.

Zielgruppe, Voraussetzungen und Arbeitsweise

Kapitelübersicht: Zielgruppe: Such- und Datenengineering, Softwareentwicklung, ML- und KI-Engineering, Plattformbetrieb, Lösungsarchitektur und technische Produktteams; Voraussetzungen: Gute Valkey- und Datenmodellierungskenntnisse; für Vektorsuche Grundverständnis von Embeddings und Ähnlichkeitsmaßen; Arbeitsweise: Fachvortrag, Demonstrationen, angeleitete Laboraufgaben, Fehleranalysen und dokumentierte Abnahmen.

Zielgruppe: Such- und Datenengineering, Softwareentwicklung, ML- und KI-Engineering, Plattformbetrieb, Lösungsarchitektur und technische Produktteams.

Voraussetzungen: Gute Valkey- und Datenmodellierungskenntnisse; für Vektorsuche Grundverständnis von Embeddings und Ähnlichkeitsmaßen.

Arbeitsweise: Fachvortrag, technische Demonstrationen, strukturierte Schrittfolgen, praktische Übungen am System, kontrollierte Fehlerfälle und schriftliche Prüfpunkte.