Seminar FoundationDB – Datenmodellierung mit Tuple, Subspace und Directory Layer

Das Einzelseminar vermittelt Geordnete Schlüsselräume, Tuple-Kodierung, Subspaces, Directory Layer, Sekundärindizes, Versionstamps und Schemaevolution. Die Themen werden von der fachlichen Einordnung über die Konfiguration beziehungsweise Implementierung bis zur kontrollierten Prüfung in einer zusammenhängenden Laborumgebung bearbeitet.

Jeder Themenblock enthält eine eigene Inhaltsübersicht, konkrete Arbeitsschritte und Prüfpunkte. Konfigurationen, Datenmodelle und Betriebsentscheidungen werden so dokumentiert, dass sie in Projekt- und Betriebsstandards übernommen werden können.

Inhaltsübersicht

1. 1. Geordneter Schlüsselraum und Range Reads
2. 2. Fachliches Schlüsselraumdesign
3. 3. Tuple Layer und ordnungserhaltende Kodierung
4. 4. Subspaces und Namensräume
5. 5. Directory Layer und dynamische Präfixverwaltung
6. 6. Sekundärindizes und Konsistenz
7. 7. Versionstamps, Reihenfolgen und Ereignisprotokolle
8. 8. Schemaevolution und Kompatibilität

1. Geordneter Schlüsselraum und Range Reads

Kapitelinhaltsverzeichnis

1. 1.1 Einordnung und Zielsetzung
2. 1.2 Fachthemen
3. 1.3 Schritt-für-Schritt-Übung
4. 1.4 Prüfpunkte

Einordnung und Zielsetzung

Der geordnete Schlüsselraum ist die zentrale Grundlage für effiziente Datenmodelle. Die Reihenfolge der Schlüssel bestimmt, welche Daten zusammenhängend gelesen, partitioniert und weiterverarbeitet werden können.

Fachthemen

• Lexikografische Ordnung
• Präfixe und Bereichsgrenzen
• Streaming und Pagination

Schritt-für-Schritt-Übung: einen effizienten Bereichszugriff entwerfen

1. Schritt 1: Die fachlichen Sortier- und Filterkriterien eines Anwendungsfalls sammeln.
2. Schritt 2: Eine zusammengesetzte Schlüsselstruktur mit stabilen Präfixen entwerfen.
3. Schritt 3: Inklusive Start- und exklusive Endgrenzen für die wichtigsten Bereiche festlegen.
4. Schritt 4: Pagination anhand des letzten gelesenen Schlüssels statt großer Offsets planen.
5. Schritt 5: Den Entwurf mit kleinen, großen und leeren Bereichen testen.

Prüfpunkte

• Präfixe bilden fachlich sinnvolle Teilräume.
• Bereichsgrenzen sind eindeutig und überschneidungsfrei.
• Die Iteration bleibt bei großen Ergebnismengen speicherschonend.

2. Fachliches Schlüsselraumdesign

Kapitelinhaltsverzeichnis

1. 2.1 Einordnung und Zielsetzung
2. 2.2 Fachthemen
3. 2.3 Schritt-für-Schritt-Übung
4. 2.4 Prüfpunkte

Einordnung und Zielsetzung

Das Datenmodell beginnt mit den Zugriffsmustern, nicht mit einer tabellarischen Übertragung. Entitäten, Beziehungen und Sortieranforderungen werden in stabile Präfixe und Bereichsgrenzen übersetzt.

Fachthemen

• Entitäten und Zugriffsmuster
• Präfixhierarchie
• Hotspot- und Wachstumsrisiken

Schritt-für-Schritt-Übung: einen Schlüsselraum aus Zugriffsmustern ableiten

1. Schritt 1: Häufige Lese-, Schreib- und Scanvorgänge priorisieren.
2. Schritt 2: Entitäten und Mandanten als stabile Präfixebenen modellieren.
3. Schritt 3: Sortierfelder in der Reihenfolge der benötigten Bereichszugriffe anordnen.
4. Schritt 4: Monoton wachsende oder stark konzentrierte Präfixe auf Hotspot-Risiken prüfen.
5. Schritt 5: Schlüsselbeispiele und Bereichsgrenzen in einem Modellkatalog dokumentieren.

Prüfpunkte

• Die Umsetzung berücksichtigt Entitäten und Zugriffsmuster und ist reproduzierbar dokumentiert.
• Das Verhalten von Präfixhierarchie ist mit einem positiven und einem negativen Testfall geprüft.
• Abbruch-, Rückfall- und Eskalationskriterien sind eindeutig benannt.

3. Tuple Layer und ordnungserhaltende Kodierung

Kapitelinhaltsverzeichnis

1. 3.1 Einordnung und Zielsetzung
2. 3.2 Fachthemen
3. 3.3 Schritt-für-Schritt-Übung
4. 3.4 Prüfpunkte

Einordnung und Zielsetzung

Der Tuple Layer kodiert strukturierte Werte zu geordneten Schlüsseln. Ein konsistentes Schema ermöglicht sprachübergreifenden Zugriff und vermeidet fehleranfällige eigene Trennzeichenformate.

Fachthemen

• Datentypen und zusammengesetzte Schlüssel
• Sprachübergreifende Kompatibilität
• Prefix Ranges

Schritt-für-Schritt-Übung: ein Tuple-Schema implementieren

1. Schritt 1: Datentypen und natürliche Sortierreihenfolge der Schlüsselfelder festlegen.
2. Schritt 2: Zusammengesetzte Schlüssel mit dem Tuple Layer kodieren.
3. Schritt 3: Pack- und Unpack-Ergebnisse mit Grenzwerten und Sonderzeichen testen.
4. Schritt 4: Prefix Ranges für alle Hauptzugriffe ableiten.
5. Schritt 5: Kompatibilität zwischen den eingesetzten Sprachbindungen prüfen.

Prüfpunkte

• Die Umsetzung berücksichtigt Datentypen und zusammengesetzte Schlüssel und ist reproduzierbar dokumentiert.
• Das Verhalten von sprachübergreifende Kompatibilität ist mit einem positiven und einem negativen Testfall geprüft.
• Abbruch-, Rückfall- und Eskalationskriterien sind eindeutig benannt.

4. Subspaces und Namensräume

Kapitelinhaltsverzeichnis

1. 4.1 Einordnung und Zielsetzung
2. 4.2 Fachthemen
3. 4.3 Schritt-für-Schritt-Übung
4. 4.4 Prüfpunkte

Einordnung und Zielsetzung

Subspaces kapseln Präfixe und reduzieren Fehler bei der manuellen Schlüsselkonstruktion. Damit entstehen wiederverwendbare Namensräume für Entitäten, Indizes und Metadaten.

Fachthemen

• Präfixkapselung
• Unterräume und Wiederverwendung
• Sichere Range Clears

Schritt-für-Schritt-Übung: Subspaces für ein Domänenmodell strukturieren

1. Schritt 1: Einen Root-Subspace für Anwendung oder Tenant festlegen.
2. Schritt 2: Unterräume für Primärdaten, Indizes, Ereignisse und Metadaten definieren.
3. Schritt 3: Hilfsfunktionen für Schlüssel, Bereiche und Dekodierung bereitstellen.
4. Schritt 4: Range Reads und Range Clears ausschließlich innerhalb definierter Unterräume testen.
5. Schritt 5: Subspace-Versionen und Verantwortlichkeiten dokumentieren.

Prüfpunkte

• Die Umsetzung berücksichtigt Präfixkapselung und ist reproduzierbar dokumentiert.
• Das Verhalten von Unterräume und Wiederverwendung ist mit einem positiven und einem negativen Testfall geprüft.
• Abbruch-, Rückfall- und Eskalationskriterien sind eindeutig benannt.

5. Directory Layer und dynamische Präfixverwaltung

Kapitelinhaltsverzeichnis

1. 5.1 Einordnung und Zielsetzung
2. 5.2 Fachthemen
3. 5.3 Schritt-für-Schritt-Übung
4. 5.4 Prüfpunkte

Einordnung und Zielsetzung

Der Directory Layer trennt logische Namen von physischen Präfixen. Er eignet sich für dynamische Namensräume, erfordert jedoch klare Regeln für Lebenszyklus und Transaktionsgrenzen.

Fachthemen

• Logische Pfade
• Prefix-Zuweisung
• Öffnen, Anlegen, Verschieben und Entfernen

Schritt-für-Schritt-Übung: eine Directory-Struktur verwalten

1. Schritt 1: Logische Verzeichniswege und Eigentümer festlegen.
2. Schritt 2: Directories transaktional anlegen oder öffnen.
3. Schritt 3: Zugewiesene Subspaces für Datenzugriffe verwenden, ohne Präfixe hart zu codieren.
4. Schritt 4: Verschieben und Entfernen mit abhängigen Diensten und Caches testen.
5. Schritt 5: Betriebsregeln für konkurrierende Anlage und Bereinigung definieren.

Prüfpunkte

• Die Umsetzung berücksichtigt logische Pfade und ist reproduzierbar dokumentiert.
• Das Verhalten von Prefix-Zuweisung ist mit einem positiven und einem negativen Testfall geprüft.
• Abbruch-, Rückfall- und Eskalationskriterien sind eindeutig benannt.

6. Sekundärindizes und Konsistenz

Kapitelinhaltsverzeichnis

1. 6.1 Einordnung und Zielsetzung
2. 6.2 Fachthemen
3. 6.3 Schritt-für-Schritt-Übung
4. 6.4 Prüfpunkte

Einordnung und Zielsetzung

Sekundärindizes werden im selben Commit wie die Primärdaten gepflegt. Der Entwurf muss Selektivität, Sortierung, Eindeutigkeit und Löschpfade explizit abbilden.

Fachthemen

• Indexschlüssel
• Eindeutige und nicht eindeutige Indizes
• Atomare Pflege

Schritt-für-Schritt-Übung: einen transaktionalen Sekundärindex aufbauen

1. Schritt 1: Suchanforderung und gewünschte Sortierung des Indexzugriffs definieren.
2. Schritt 2: Indexschlüssel mit Referenz auf den Primärdatensatz modellieren.
3. Schritt 3: Einfügen, Ändern und Löschen von Primär- und Indexdaten in einer Transaktion kapseln.
4. Schritt 4: Eindeutigkeitsprüfung und konkurrierende Schreibvorgänge testen.
5. Schritt 5: Konsistenzprüfung und kontrollierten Neuaufbau des Indexes vorsehen.

Prüfpunkte

• Die Umsetzung berücksichtigt Indexschlüssel und ist reproduzierbar dokumentiert.
• Das Verhalten von eindeutige und nicht eindeutige Indizes ist mit einem positiven und einem negativen Testfall geprüft.
• Abbruch-, Rückfall- und Eskalationskriterien sind eindeutig benannt.

7. Versionstamps, Reihenfolgen und Ereignisprotokolle

Kapitelinhaltsverzeichnis

1. 7.1 Einordnung und Zielsetzung
2. 7.2 Fachthemen
3. 7.3 Schritt-für-Schritt-Übung
4. 7.4 Prüfpunkte

Einordnung und Zielsetzung

Versionstamps ermöglichen eine commitbezogene Ordnung ohne clientseitig vorweggenommene Versionsnummern. Der Mechanismus eignet sich für Ereignisprotokolle, Änderungsfeeds und stabile Cursor.

Fachthemen

• Commit-Reihenfolge
• Versionstamp-Schlüssel und -Werte
• Cursor und Fortsetzung

Schritt-für-Schritt-Übung: ein geordnetes Ereignisprotokoll entwerfen

1. Schritt 1: Fachliche Ereignis-ID und commitbezogene Reihenfolge trennen.
2. Schritt 2: Unvollständigen Versionstamp an der vorgesehenen Schlüssel- oder Wertposition platzieren.
3. Schritt 3: Ereignis und fachliche Zustandsänderung in derselben Transaktion schreiben.
4. Schritt 4: Bereichsleser mit gespeichertem Cursor implementieren.
5. Schritt 5: Wiederholung, parallele Leser und Aufbewahrungsgrenzen testen.

Prüfpunkte

• Die Umsetzung berücksichtigt Commit-Reihenfolge und ist reproduzierbar dokumentiert.
• Das Verhalten von Versionstamp-Schlüssel und -Werte ist mit einem positiven und einem negativen Testfall geprüft.
• Abbruch-, Rückfall- und Eskalationskriterien sind eindeutig benannt.

8. Schemaevolution und Kompatibilität

Kapitelinhaltsverzeichnis

1. 8.1 Einordnung und Zielsetzung
2. 8.2 Fachthemen
3. 8.3 Schritt-für-Schritt-Übung
4. 8.4 Prüfpunkte

Einordnung und Zielsetzung

Da das Kernsystem kein Anwendungsschema erzwingt, muss die Anwendung Kompatibilität kontrollieren. Lesepfade, Schreibpfade und Migrationsstatus werden versioniert und messbar ausgerollt.

Fachthemen

• Versionierte Kodierung
• Dual Read und Dual Write
• Bereinigung alter Formate

Schritt-für-Schritt-Übung: eine kompatible Schemaänderung ausrollen

1. Schritt 1: Altes und neues Format einschließlich Rückwärtskompatibilität beschreiben.
2. Schritt 2: Leselogik für beide Formate und eindeutige Versionskennung implementieren.
3. Schritt 3: Schreiblogik kontrolliert auf das neue Format oder einen Dual-Write umstellen.
4. Schritt 4: Bestandsdaten mit idempotenten Chunks migrieren und validieren.
5. Schritt 5: Alte Pfade erst nach Messung, Rollbackfrist und Freigabe entfernen.

Prüfpunkte

• Die Umsetzung berücksichtigt Versionierte Kodierung und ist reproduzierbar dokumentiert.
• Das Verhalten von Dual Read und Dual Write ist mit einem positiven und einem negativen Testfall geprüft.
• Abbruch-, Rückfall- und Eskalationskriterien sind eindeutig benannt.