Seminar FerretDB Performanceanalyse und Kapazitätsplanung

Zielsetzung

Das Seminar untersucht die Leistung von FerretDB entlang der gesamten Verarbeitungskette vom Client über FerretDB bis zum PostgreSQL-Backend. Workload, Connection Pools, Indizes, Ressourcen, Speicher, WAL und Observability werden in einen messbaren Tuning- und Kapazitätsprozess überführt.

Inhaltsübersicht

1. Zielsetzung und Lernziele
2. Teilnehmerkreis und Voraussetzungen
3. Leistungsziele und Workload
4. Messumgebung aufbauen
5. Client und Connection Pools
6. Abfragen und Indizes
7. FerretDB- und Backendressourcen
8. Such- und Aggregationslasten
9. Kapazitätsmodell
10. Kontinuierlicher Tuning-Zyklus
11. Praxisübungen und Methodik

Lernziele

• Repräsentative Lastprofile und messbare Leistungsziele definieren
• Engpässe zwischen Client, FerretDB, Netzwerk und PostgreSQL lokalisieren
• Indizes, Poolgrößen und Ressourcen auf Basis von Messdaten anpassen
• Kapazitätsreserven und Wachstumsgrenzen für den Produktionsbetrieb berechnen

Teilnehmerkreis

Datenbankadministratoren, Performance Engineers, DevOps-Fachkräfte, Site Reliability Engineers, Architekten und erfahrene Entwickler.

Voraussetzungen

Gute FerretDB-, Abfrage- und PostgreSQL-Grundkenntnisse. Erfahrung mit Metriken, Lasttests und Linux- oder Containerressourcen ist hilfreich.

Seminarinhalte

Kapitel 1: Leistungsziele und Workload

Inhaltsübersicht des Kapitels: Geschäftliche Transaktionen in konkrete Datenbankoperationen übersetzen; Latenz, Durchsatz, Parallelität und Fehlerrate als Ziele festlegen; Lesen, Schreiben, Aggregation und Suchlast getrennt charakterisieren.

1. Schritt 1: Geschäftliche Transaktionen in konkrete Datenbankoperationen übersetzen
2. Schritt 2: Latenz, Durchsatz, Parallelität und Fehlerrate als Ziele festlegen
3. Schritt 3: Lesen, Schreiben, Aggregation und Suchlast getrennt charakterisieren

Kapitel 2: Messumgebung aufbauen

Inhaltsübersicht des Kapitels: Testdatenmenge und Datenverteilung realitätsnah vorbereiten; Lastgenerator, Warm-up, Messdauer und Wiederholungen definieren; Logs, Metriken, Traces und PostgreSQL-Statistiken synchron erfassen.

1. Schritt 1: Testdatenmenge und Datenverteilung realitätsnah vorbereiten
2. Schritt 2: Lastgenerator, Warm-up, Messdauer und Wiederholungen definieren
3. Schritt 3: Logs, Metriken, Traces und PostgreSQL-Statistiken synchron erfassen

Kapitel 3: Client und Connection Pools

Inhaltsübersicht des Kapitels: Treiberpool, Anwendungsinstanzen und FerretDB-Pool als Gesamtsystem betrachten; Zu kleine und zu große Poolgrößen anhand von Sättigung erkennen; Timeouts und Nebenläufigkeit ohne Request-Stürme konfigurieren.

1. Schritt 1: Treiberpool, Anwendungsinstanzen und FerretDB-Pool als Gesamtsystem betrachten
2. Schritt 2: Zu kleine und zu große Poolgrößen anhand von Sättigung erkennen
3. Schritt 3: Timeouts und Nebenläufigkeit ohne Request-Stürme konfigurieren

Kapitel 4: Abfragen und Indizes

Inhaltsübersicht des Kapitels: Langsame und häufige Operationen anhand von Messdaten priorisieren; Einzel-, Verbund-, Text- und Vektorindizes passend zum Workload bewerten; Schreibkosten, Speicherbedarf und Wartungsfolgen gegen Lesegewinne abwägen.

1. Schritt 1: Langsame und häufige Operationen anhand von Messdaten priorisieren
2. Schritt 2: Einzel-, Verbund-, Text- und Vektorindizes passend zum Workload bewerten
3. Schritt 3: Schreibkosten, Speicherbedarf und Wartungsfolgen gegen Lesegewinne abwägen

Kapitel 5: FerretDB- und Backendressourcen

Inhaltsübersicht des Kapitels: CPU, Arbeitsspeicher, Dateisystem und Netzwerk getrennt beobachten; PostgreSQL-Verbindungen, Cachewirkung, WAL und Hintergrundprozesse einordnen; Container- oder Podlimits so setzen, dass Drosselung sichtbar und beherrschbar bleibt.

1. Schritt 1: CPU, Arbeitsspeicher, Dateisystem und Netzwerk getrennt beobachten
2. Schritt 2: PostgreSQL-Verbindungen, Cachewirkung, WAL und Hintergrundprozesse einordnen
3. Schritt 3: Container- oder Podlimits so setzen, dass Drosselung sichtbar und beherrschbar bleibt

Kapitel 6: Such- und Aggregationslasten

Inhaltsübersicht des Kapitels: Aggregation, Volltext- und Vektorsuche mit typischen Datenmengen testen; Suchparameter und Ergebnisgröße auf Qualität und Laufzeit abstimmen; Teure Operationen durch Vorfilterung, Projektion und Datenmodell verbessern.

1. Schritt 1: Aggregation, Volltext- und Vektorsuche mit typischen Datenmengen testen
2. Schritt 2: Suchparameter und Ergebnisgröße auf Qualität und Laufzeit abstimmen
3. Schritt 3: Teure Operationen durch Vorfilterung, Projektion und Datenmodell verbessern

Kapitel 7: Kapazitätsmodell

Inhaltsübersicht des Kapitels: Aktuelle Last, Spitzenlast und Wachstum getrennt quantifizieren; Ressourcenbedarf pro Laststufe aus wiederholten Messungen ableiten; Reserve, Skalierungsgrenze und Beschaffungszeit in die Planung aufnehmen.

1. Schritt 1: Aktuelle Last, Spitzenlast und Wachstum getrennt quantifizieren
2. Schritt 2: Ressourcenbedarf pro Laststufe aus wiederholten Messungen ableiten
3. Schritt 3: Reserve, Skalierungsgrenze und Beschaffungszeit in die Planung aufnehmen

Kapitel 8: Kontinuierlicher Tuning-Zyklus

Inhaltsübersicht des Kapitels: Nur eine relevante Änderung pro Vergleichstest vornehmen; Baseline, Hypothese, Änderung und Ergebnis dokumentieren; Regressionstests und Produktionsalarme aus den Erkenntnissen ableiten.

1. Schritt 1: Nur eine relevante Änderung pro Vergleichstest vornehmen
2. Schritt 2: Baseline, Hypothese, Änderung und Ergebnis dokumentieren
3. Schritt 3: Regressionstests und Produktionsalarme aus den Erkenntnissen ableiten

Praxisübungen

• Einen gemischten Lese-/Schreibworkload messen und Engpässe lokalisieren
• Pool- und Indexänderungen mit identischen Lasttests vergleichen
• Ein Kapazitätsblatt für Istlast, Spitzenlast und prognostiziertes Wachstum erstellen

Methodik

Alle Optimierungen müssen durch wiederholbare Messungen belegt werden. Das Seminar arbeitet mit Baselines, klaren Hypothesen und jeweils isolierten Änderungen statt mit pauschalen Tuninglisten.