Seminar croit Ceph Troubleshooting und Notfallbetrieb

In einer Störung zählt ein reproduzierbarer Diagnosepfad mehr als eine lange Sammlung einzelner Kommandos. Das Seminar trennt Symptom, Ursache und Auswirkung, stabilisiert zuerst die Datenverfügbarkeit und führt Reparaturen erst danach kontrolliert durch.

Inhaltsübersicht

1. Seminarprofil
2. Lernziele
3. Zielgruppe
4. Voraussetzungen
5. Seminarinhalte
6. Praxisübungen

Seminarprofil

Das Seminar vermittelt einen strukturierten Diagnose- und Stabilisierungsprozess für croit Ceph. Es behandelt Health-Meldungen, Tasks, Logs und Metriken, Quorum- und Managerprobleme, OSD- und PG-Zustände, Kapazitätsgrenzen, Netzwerk-, Port-, PXE- und NTP-Fehler, RBD-, CephFS-, RGW- und Gatewaystörungen sowie Priorisierung, Recovery, Eskalation und dokumentierten Wiederanlauf.

Lernziele

• Störungen nach Datenrisiko, Verfügbarkeit und Ausbreitung priorisieren
• Health, Tasks, Logs, Metriken und Systemdaten systematisch korrelieren
• Quorum-, OSD-, PG-, Kapazitäts- und Netzwerkfehler eingrenzen
• Datenservice- und Managementprobleme voneinander unterscheiden
• Notfallmaßnahmen, Recovery, Eskalation und Abschlussprüfung dokumentieren

Zielgruppe

Erfahrene Ceph-, Storage-, Linux- und Netzwerkadministratoren mit Störungsverantwortung

Voraussetzungen

Praxiserfahrung mit Ceph-Administration, Linux, Netzwerken und mindestens einem Datenservice

Seminarinhalte

Schritt 1: Incident erfassen und stabilisieren

Zeit, Änderung, betroffene Dienste und Datenrisiko werden festgehalten. Unkontrollierte Neustarts und parallele Änderungen werden gestoppt.

• Symptom, Umfang und Beginn
• Verfügbarkeit, Haltbarkeit und Performance
• Change Freeze und Verantwortlichkeiten

Schritt 2: Diagnosepfad aufbauen

Die Untersuchung folgt der Reihenfolge Managementplattform, Cluster Health, Quorum, Dienste, PGs, OSDs, Hosts, Netzwerk und Clients. Jeder Befund wird mit Zeitstempel dokumentiert.

• Tasks, Logs und Metriken
• Ceph-Zustand und Cluster Maps
• Betriebssystem- und Hardwaredaten

Schritt 3: MON-, MGR- und Quorumfehler

Zeit, Netzwerk und Monitorzustand werden vor Eingriffen geprüft. Quorum wird nicht durch gleichzeitiges Ersetzen mehrerer Instanzen weiter gefährdet.

• Quorumstatus und Monitor Map
• Clock Skew, DNS und Ports
• Manager-Failover und Module

Schritt 4: OSD- und Datenträgerfehler

Down-, Out- und langsame OSDs werden nach Host-, Netz- und Medienursache getrennt. Recovery beginnt erst mit ausreichender Kapazität und stabilen Pfaden.

• OSD-Prozesse und Logs
• SMART, I/O-Fehler und BlueStore
• Safe-to-destroy und Ersatz

Schritt 5: PG- und Datenplatzierungsfehler

Peering, inactive, stale, undersized, degraded und inconsistent werden anhand ihrer Ursachen unterschieden. Reparaturen folgen der geringsten Eingriffstiefe.

• PG Query und Acting Set
• fehlende OSDs und Map-Zustände
• Scrub, Repair und Eskalation

Schritt 6: Kapazitätsnotfall

Nearfull-, Backfillfull- und Full-Zustände werden ohne riskante Schnellmaßnahmen stabilisiert. Freie Kapazität, Datenbewegung und Poolgrenzen werden priorisiert.

• Schwellen und blockierte Writes
• Kapazität freigeben oder erweitern
• Recovery und Rebalancing kontrollieren

Schritt 7: Netzwerk, Ports, PXE und NTP

Link, VLAN, IP, Route, MTU, Port und Zeit werden als Kette geprüft. PXE-Fehler werden vom BIOS bis zum Imageabruf isoliert.

• Bonding und Switchzustand
• DHCP, TFTP und Bootpfad
• NTP, Clock Skew und Firewall

Schritt 8: Datenservices diagnostizieren

RBD, CephFS, RGW, NFS, SMB und NVMe-oF werden vom Client bis zum Backend verfolgt. Dienstfehler werden nicht vorschnell als OSD-Fehler interpretiert.

• Schlüssel, Caps und Mapping
• MDS-, RGW- und Gatewaystatus
• DNS, TLS, virtuelle IP und Multipath

Schritt 9: Managementplattform wiederherstellen

Ein Ausfall oder Umzug des Managementcontainers wird getrennt vom Ceph-Datenpfad behandelt. Sicherung, persistente Daten und Clusterverbindung werden validiert.

• Containerzustand und Volumes
• Migration oder Restore
• Logs, Images und Clusterinventar

Schritt 10: Wiederanlauf und Nachbearbeitung

Nach der Reparatur werden Redundanz, Datenservices, Clients und Performance geprüft. Temporäre Flags, Mutes und Ausnahmen werden vollständig entfernt.

• technische und fachliche Abnahme
• Ursachen- und Maßnahmenprotokoll
• Prävention, Monitoring und Runbook-Update

Praxisübungen

1. einen Incident anhand einer festen Diagnosematrix priorisieren
2. Quorum-, PG- und OSD-Fehler in einer Störungskette eingrenzen
3. einen PXE- oder Clock-Skew-Fall diagnostizieren
4. einen dokumentierten Wiederanlauf mit Abnahmekriterien durchführen