Seminar Weaviate Collections, Datenmodellierung und Referenzen

Dieses praxisorientierte Seminar behandelt fachliche Abfragewege, Collection-Grenzen, Properties, Datentypen, Tokenisierung, Denormalisierung, Cross-References, Named Vectors, Indexregeln und Schema-Migrationen. Alle Arbeitsschritte werden an einer durchgängigen Referenzumgebung ausgeführt, geprüft und in wiederverwendbaren Arbeitsvorlagen dokumentiert.

Inhaltsübersicht

• Anforderungen und Abfragewege
• Collections und Properties
• Denormalisierung und Referenzen
• Vektorkonfiguration
• Invertierter Index
• Schemaentwicklung und Migration
• Lernziele und Abnahmekriterien
• Praxisübungen und Betriebsdokumentation

Lernziele

• Anforderungen in den Bereichen Anforderungen und Abfragewege, Vektorkonfiguration und Schemaentwicklung und Migration strukturiert analysieren und in eine umsetzbare Weaviate-Konfiguration überführen.
• Collections, Daten, Abfragen oder Betriebsparameter nachvollziehbar konfigurieren und mit reproduzierbaren Prüfungen verifizieren.
• Fehlersituationen systematisch eingrenzen, geeignete Diagnoseinformationen erfassen und belastbare Korrekturmaßnahmen ableiten.
• Qualität, Leistung, Sicherheit und Wartbarkeit anhand definierter Kriterien bewerten und die Lösung für den Regelbetrieb dokumentieren.

Schritt-für-Schritt-Inhalte

1. Anforderungen und Abfragewege

Schwerpunkt: Such-, Filter-, Aggregations- und Aktualisierungsfälle, Datenmenge, Mandanten und Änderungsrate.

1. Anforderungen für Anforderungen und Abfragewege erfassen: Such-, Filter-, Aggregations- und Aktualisierungsfälle, Datenmenge, Mandanten und Änderungsrate; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

2. Collections und Properties

Schwerpunkt: semantische Räume, Lebenszyklen, Datentypen, Beschreibungen, Pflichtregeln, Tokenisierung und UUIDs.

1. Anforderungen für Collections und Properties erfassen: semantische Räume, Lebenszyklen, Datentypen, Beschreibungen, Pflichtregeln, Tokenisierung und UUIDs; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

3. Denormalisierung und Referenzen

Schwerpunkt: Beziehungsabfragen, Änderungsaufwand, Referenzketten, Performance-Risiken und alternative Lesemodelle.

1. Anforderungen für Denormalisierung und Referenzen erfassen: Beziehungsabfragen, Änderungsaufwand, Referenzketten, Performance-Risiken und alternative Lesemodelle; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

4. Vektorkonfiguration

Schwerpunkt: Property-Auswahl, Named Vectors, Multi-Vektoren, Distanzmetrik und Indexart.

1. Anforderungen für Vektorkonfiguration erfassen: Property-Auswahl, Named Vectors, Multi-Vektoren, Distanzmetrik und Indexart; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

5. Invertierter Index

Schwerpunkt: filterbare und suchbare Properties, Nullwerte, Arrays, Datumswerte, Aggregationen und Indexkosten.

1. Anforderungen für Invertierter Index erfassen: filterbare und suchbare Properties, Nullwerte, Arrays, Datumswerte, Aggregationen und Indexkosten; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

6. Schemaentwicklung und Migration

Schwerpunkt: veränderbare und unveränderbare Einstellungen, Ziel-Collection, Datenübertragung, Tests und Alias-Umschaltung.

1. Anforderungen für Schemaentwicklung und Migration erfassen: veränderbare und unveränderbare Einstellungen, Ziel-Collection, Datenübertragung, Tests und Alias-Umschaltung; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

Praxisübungen

1. Übung 1: Anforderungen und Abfragewege – Such-, Filter-, Aggregations- und Aktualisierungsfälle, Datenmenge, Mandanten und Änderungsrate in einer vorbereiteten Referenzumgebung konfigurieren, ausführen, mit Negativtests prüfen und in einem Abnahmeprotokoll dokumentieren.
2. Übung 2: Collections und Properties – semantische Räume, Lebenszyklen, Datentypen, Beschreibungen, Pflichtregeln, Tokenisierung und UUIDs in einer vorbereiteten Referenzumgebung konfigurieren, ausführen, mit Negativtests prüfen und in einem Abnahmeprotokoll dokumentieren.
3. Übung 3: Denormalisierung und Referenzen – Beziehungsabfragen, Änderungsaufwand, Referenzketten, Performance-Risiken und alternative Lesemodelle in einer vorbereiteten Referenzumgebung konfigurieren, ausführen, mit Negativtests prüfen und in einem Abnahmeprotokoll dokumentieren.
4. Übung 4: Vektorkonfiguration – Property-Auswahl, Named Vectors, Multi-Vektoren, Distanzmetrik und Indexart in einer vorbereiteten Referenzumgebung konfigurieren, ausführen, mit Negativtests prüfen und in einem Abnahmeprotokoll dokumentieren.

Zielgruppe

Solution Architects, Data Architects, Backend-Entwickler, Data Engineers und technische Verantwortliche für Such- und RAG-Systeme.

Voraussetzungen

Grundkenntnisse zu Weaviate, Datenbanken und typischen Suchabfragen.