Seminar IPCEI-CIS: Betrieb, Observability und Resilienz

Der Betrieb verteilter Dienste benötigt einen gemeinsamen Blick auf die tatsächlich erbrachte Leistung. Einzelne grüne Infrastrukturanzeigen reichen für die Bewertung eines vollständigen Geschäftsprozesses nicht aus. Das Seminar verbindet technische Telemetrie mit nachvollziehbaren Dienstzielen und klar zugeordneten Zuständigkeiten zwischen den beteiligten Betriebsbereichen.

Eine vorbereitete Anwendung liefert Metriken, Protokolle und Ablaufspuren. Darauf aufbauend werden Störungen systematisch untersucht und eine Wiederherstellung praktisch durchgeführt. Der Schwerpunkt liegt auf aussagekräftigen Messpunkten, prüfbaren Runbooks und begründeten Eskalationswegen für Situationen, in denen Ursache und Auswirkung an unterschiedlichen Standorten liegen.

Lernziele

• Dienstgüte mit passenden Messpunkten und eindeutig abgegrenzten Verantwortlichkeiten beschreiben.
• Metriken, Logs und Traces für die standortübergreifende Fehlersuche zusammenführen.
• Wiederherstellung und Betriebsübergabe durch belastbare Prüfungen und Runbooks absichern.

Seminarinhalte

1. Betriebsmodell und Dienstziele
2. Metriken und sinnvolle Alarmierung
3. Logs, Traces und Vorgangsbezug
4. Störungsdiagnose über Anbietergrenzen
5. Wiederherstellung und kontrollierte Änderungen
6. Runbooks und Betriebsabnahme

1. Betriebsmodell und Dienstziele

Zuordnung von Dienstverantwortung, technischer Zuständigkeit und Eskalationsweg. Festlegung beobachtbarer Dienstindikatoren und realistischer Zielwerte. Abgrenzung interner Betriebsziele von vertraglichen Zusagen sowie Bewertung von Abhängigkeiten, Wartungsfenstern und bewusst akzeptierten Einschränkungen eines Pilotbetriebs.

2. Metriken und sinnvolle Alarmierung

Auswahl von Messwerten für Antwortzeit, Fehlerquote, Ressourcen und Warteschlangen. Unterscheidung zwischen Ursachenindikatoren und sichtbarer Dienstbeeinträchtigung. Einrichtung weniger aussagekräftiger Alarme, Behandlung kurzer Ausschläge und Prüfung des Verhaltens bei ausbleibenden Messwerten oder getrennten Standorten.

3. Logs, Traces und Vorgangsbezug

Verknüpfung verteilter Anfragen durch Korrelationskennungen und Trace-Kontext. Eingrenzung eines verzögerten Vorgangs über mehrere Komponenten. Prüfung der Zeitsynchronisation, Datenmenge und notwendigen Zugriffsbeschränkungen; Vermeidung sensibler Inhalte in Diagnoseausgaben und Festlegung geeigneter Aufbewahrungsgrenzen.

4. Störungsdiagnose über Anbietergrenzen

Untersuchung gestörter Namensauflösung, knapper Ressourcen und verzögerter Abhängigkeiten. Bildung und Prüfung konkreter Fehlerhypothesen. Zusammenstellung eines verwertbaren Übergabepakets für den jeweils zuständigen Betreiber und Festlegung gemeinsamer Zeitpunkte, Statusinformationen und Kommunikationsregeln für einen Vorfall.

5. Wiederherstellung und kontrollierte Änderungen

Prüfung einer vorbereiteten Sicherung und Wiederherstellung des Anwendungszustands. Vergleich gemessener Wiederanlaufzeit und tatsächlich verloren gegangener Daten mit den Vorgaben. Durchführung einer Änderung mit Rückfallpunkt und Prüfung der Wiederherstellbarkeit, wenn gleichzeitig ein entfernter Standort nicht erreichbar ist.

6. Runbooks und Betriebsabnahme

Erstellung eines ausführbaren Runbooks mit Voraussetzungen, Diagnosefolge, Abbruchkriterien und Funktionskontrolle. Bewertung von Nutzungsdaten für Ressourcenplanung und Kostenzuordnung. Gemeinsame Betriebsabnahme anhand nachvollziehbarer Messwerte sowie Erfassung offener Risiken und noch nicht überprüfter Betriebsannahmen.

Praxisworkshop

1. Dienstindikatoren und Zuständigkeiten für die Beispielanwendung festlegen.
2. Eine Anfrage über Metriken, Protokolle und Traces verfolgen.
3. Eine vorbereitete Störung auslösen, eingrenzen und dem zuständigen Betriebsbereich zuordnen.
4. Den Datenbestand aus einer Sicherung wiederherstellen und die erreichten Zeiten messen.
5. Das Runbook von einer zweiten Person anhand der dokumentierten Schritte ausführen lassen.

Schulungsumgebung

Die Schulungsumgebung wird vom Kunden bereitgestellt. Vorbereitete verteilte Testanwendung mit OpenTelemetry, Prometheus und Grafana sowie lokalem Log- und Trace-Backend. Bereitgestellte Sicherungen und administrative Rechte für kontrollierte Störungen; mindestens 8 vCPU, 16 GB RAM und 100 GB freier Speicher je Übungsgruppe.

Die benötigten Softwarestände, Berechtigungen, Testdaten und Rücksetzmöglichkeiten werden vor Seminarbeginn abgestimmt und geprüft. Übungen erfolgen ausschließlich in freigegebenen Testumgebungen.