Seminar croit Ceph Monitoring, Alerting und Kapazitätsmanagement

Ein Cluster gilt nicht als überwacht, nur weil Diagramme vorhanden sind. Das Seminar definiert wenige belastbare Indikatoren, sinnvolle Schwellen und eindeutige Reaktionen für Verfügbarkeit, Datenhaltbarkeit, Kapazität und Performance.

Inhaltsübersicht

1. Seminarprofil
2. Lernziele
3. Zielgruppe
4. Voraussetzungen
5. Seminarinhalte
6. Praxisübungen

Seminarprofil

Das Seminar entwickelt ein belastbares Monitoring- und Alertingmodell für croit Ceph. Es verbindet Cluster Health, Tasks, Logs, Metriken, Crash Reports, SMART, OSD- und Poolauslastung, Full-Schwellen, Recovery, Performance und Wachstum mit abgestuften Alarmen, Zuständigkeiten, Runbooks und Kapazitätsprognosen.

Lernziele

• Health, Tasks, Logs und Metriken zu einem Diagnosemodell verbinden
• OSD-, Pool-, Dienst- und Clientindikatoren sinnvoll auswählen
• Kapazitätsgrenzen und Wachstum frühzeitig prognostizieren
• Warnungen nach Dringlichkeit und Auswirkung klassifizieren
• Runbooks und Eskalationswege für wiederkehrende Ereignisse erstellen

Zielgruppe

Betriebs-, Monitoring- und Storage-Teams sowie technische Serviceverantwortliche

Voraussetzungen

Grundkenntnisse im Ceph-Betrieb und Verständnis der wichtigsten Dienste und Poolstrukturen

Seminarinhalte

Schritt 1: Monitoringziele und Serviceklassen

Verfügbarkeit, Datenhaltbarkeit, Kapazität und Leistung erhalten eigene Zielwerte. Anzeigen ohne Entscheidungskonsequenz werden aus dem Kernmonitoring entfernt.

• Serviceziele und Messgrößen
• Cluster-, Dienst- und Clientperspektive
• Warnung, Alarm und Incident

Schritt 2: Health und Tasks

Health-Meldungen und Aufgabenstatus liefern den ersten Überblick. Ursache, Auswirkung und erwartete Dauer werden getrennt bewertet.

• Health Checks und Mutes
• Task Advisor und Task-Historie
• Crash Reports und wiederkehrende Fehler

Schritt 3: Logs und Ereigniskorrelation

Logs werden zeitlich und nach Host, Dienst oder Task gefiltert. Ereignisketten verbinden Managementplattform, Ceph-Daemon und Betriebssystem.

• strukturierte Suche und Zeitfenster
• Korrelation mit Änderungen
• Aufbewahrung und Export für Analyse

Schritt 4: Metriken und Performanceindikatoren

Latenz, Durchsatz, IOPS, Queue-Tiefe und Recovery werden im Kontext der Nutzlast interpretiert. Einzelwerte ohne Baseline werden vermieden.

• OSD-, Pool- und Clientmetriken
• MDS-, RGW- und Gatewayindikatoren
• Baseline und Abweichung

Schritt 5: Datenträger und Hardware

SMART, Lesefehler, Temperatur und Medienzustand werden mit OSD- und Hostinformationen verbunden. Frühwarnungen erhalten definierte Austauschentscheidungen.

• SMART und letzte Sektoren
• NIC- und Linkzustand
• Hardwarewarnung und Wartungsauftrag

Schritt 6: Kapazität und Wachstum

Roh-, Nutz- und reservierte Kapazität werden pro Pool, Geräteklasse und Failure Domain betrachtet. Nearfull- und Full-Schwellen werden mit Beschaffungszeit und Recoverybedarf verknüpft.

• Pool- und OSD-Verteilung
• Nearfull, Backfillfull und Full
• Trend, Forecast und Erweiterungszeitpunkt

Schritt 7: Alarmierung und Hooks

Alarmwege werden nach Zeit, Auswirkung und Verantwortlichkeit abgestuft. Hook Scripts können externe Systeme versorgen, müssen aber Fehler und Wiederholungen sicher behandeln.

• Health-Ereignisse und Verzögerung
• Empfänger, Schichten und Rufbereitschaft
• Deduplizierung und Eskalation

Schritt 8: Runbooks und Review

Für häufige Warnungen entstehen kurze Diagnose- und Maßnahmenabläufe. Regelmäßige Reviews entfernen tote Alarme und schärfen Schwellenwerte.

• Symptom, Prüfung und Maßnahme
• Abbruch- und Eskalationskriterien
• monatlicher Monitoringreview

Praxisübungen

1. ein Kennzahlen- und Schwellenmodell für einen Beispielcluster erstellen
2. eine Health-Warnung über Tasks, Logs und Metriken korrelieren
3. einen Kapazitätsforecast mit Beschaffungs- und Recoveryreserve ableiten