Seminar FishOS Health Monitoring und Alerting

Inhaltsverzeichnis

1. Zielsetzung
2. Zielgruppe und Voraussetzungen
3. Seminarinhalte
4. Praxisübungen
5. Abgrenzung und Einsatzfelder

Zielsetzung

Die Schulung entwickelt aus Rohmetriken und Dienstzuständen einen handlungsfähigen Betriebsprozess. Neben Ausfällen werden schleichende Verschlechterungen, Abhängigkeiten und Kapazitätsrisiken erkannt, priorisiert und mit Runbooks bearbeitet.

Zielgruppe und Voraussetzungen

Zielgruppe: FishOS-Administratoren, NOC- und Operations-Teams, SREs, Service-Manager und Incident-Verantwortliche

Voraussetzungen: FishOS-Grundlagen, Linux-Administration sowie Verständnis von Monitoring, Logs und verteilten Systemen

Seminarinhalte

Modul 1: Monitoring- und Health-Modell

1. Schritt 1: Metriken, Logs, Ereignisse, Dienstzustände und synthetische Prüfungen voneinander unterscheiden.
2. Schritt 2: Gesund, beeinträchtigt und ausgefallen als unterschiedliche betriebliche Zustände definieren.
3. Schritt 3: Abhängigkeiten zwischen API, Datenbank, Messaging, Compute, Netzwerk und Storage abbilden.
4. Schritt 4: Technische Signale mit Serviceauswirkung und Priorität verknüpfen.

Modul 2: Health Monitoring konfigurieren

1. Schritt 1: Zu überwachende Komponenten, Prüfintervalle und Aufbewahrung an Betriebsziele anpassen.
2. Schritt 2: Schwellenwerte mit Hysterese und Dauerbedingungen gegen Fehlalarme absichern.
3. Schritt 3: Wartungsfenster, Unterdrückung und Abhängigkeiten für geplante Arbeiten berücksichtigen.
4. Schritt 4: Berechtigungen und Sichtbereiche für Betreiber, Fachteams und Mandanten strukturieren.

Modul 3: Alerting und Eskalation

1. Schritt 1: Alarme nach Kritikalität, Ursache, Service und Verantwortungsbereich klassifizieren.
2. Schritt 2: Benachrichtigungswege, Bereitschaft und Eskalationsstufen eindeutig festlegen.
3. Schritt 3: Duplikate und Folgealarme zu einem bearbeitbaren Incident zusammenführen.
4. Schritt 4: Quittierung, Übergabe und Abschluss mit Zeitstempeln und Verantwortlichen dokumentieren.

Modul 4: Diagnose und Root-Cause-Analyse

1. Schritt 1: Zeitachsen aus Metriken, Logs und Änderungen korrelieren.
2. Schritt 2: Symptom, technische Ursache und geschäftliche Auswirkung getrennt bewerten.
3. Schritt 3: Top-down vom Service und bottom-up von Infrastrukturkomponenten analysieren.
4. Schritt 4: Hypothesen mit gezielten Prüfungen bestätigen, statt mehrere Änderungen gleichzeitig vorzunehmen.

Modul 5: Betriebskennzahlen und Verbesserung

1. Schritt 1: Verfügbarkeit, Alarmqualität, Reaktionszeit und Wiederherstellungszeit regelmäßig auswerten.
2. Schritt 2: Wiederkehrende Incidents in Problem-Management und Automatisierungsmaßnahmen überführen.
3. Schritt 3: Kapazitäts- und Trendwarnungen vor der eigentlichen Störung etablieren.
4. Schritt 4: Runbooks und Schwellenwerte nach Übungen und realen Ereignissen kontrolliert aktualisieren.

Praxisübungen

• Aufbau eines Health-Modells für einen vollständigen Instanzbereitstellungsdienst
• Konfiguration von Schwellenwerten und Alarmunterdrückung
• Bearbeitung eines schleichenden Performanceproblems anhand korrelierter Signale
• Entwurf eines Eskalations- und Runbook-Prozesses

Abgrenzung und Einsatzfelder

Behandelt wird das FishOS-nahe Plattformmonitoring. Applikationsspezifische APM-Instrumentierung wird nur an den Übergabepunkten zur Plattform betrachtet.