Seminar Valkey Pub/Sub, Streams und Echtzeitverarbeitung

Echtzeitkommunikation verlangt eine klare Entscheidung zwischen flüchtiger Verteilung und nachverfolgbarer Verarbeitung. Das Seminar vergleicht Pub/Sub und Streams, entwickelt belastbare Consumer-Gruppen und behandelt Zustellsemantik, Retention, Fehlerbehandlung, Skalierung und Betrieb.

Inhaltsübersicht

1. Lernziele und fachliche Einordnung
2. Echtzeitmuster und Auswahlkriterien
3. Pub/Sub-Grundlagen und Clientverhalten
4. Skalierung von Pub/Sub
5. Streams und Eintragsmodell
6. Consumer Groups und Zustellfortschritt
7. Idempotenz, Fehlerbehandlung und Dead Letter
8. Retention, Trimming und Speicherplanung
9. Cluster, Performance und Betrieb
10. Praxislabor
11. Zielgruppe, Voraussetzungen und Arbeitsweise

Lernziele

Kapitelübersicht: Pub/Sub und Streams nach Haltbarkeit, Zustellung und Wiederholbarkeit korrekt auswählen; Publisher, Subscriber, Produzenten und Consumer mit kontrolliertem Fehlerverhalten implementieren; Consumer Groups, Pending Entries und Wiederübernahme sicher betreiben; Retention, Idempotenz, Backpressure und Skalierung für reale Lastprofile planen.

• Pub/Sub und Streams nach Haltbarkeit, Zustellung und Wiederholbarkeit korrekt auswählen.
• Publisher, Subscriber, Produzenten und Consumer mit kontrolliertem Fehlerverhalten implementieren.
• Consumer Groups, Pending Entries und Wiederübernahme sicher betreiben.
• Retention, Idempotenz, Backpressure und Skalierung für reale Lastprofile planen.
• Echtzeitpfade mit Metriken, Tests und Runbooks produktionsfähig absichern.

Kapitel 1: Echtzeitmuster und Auswahlkriterien

Kapitelübersicht: Broadcast, Work Queue, Ereignisprotokoll und Zustandsänderung voneinander abgrenzen; Verlusttoleranz, Reihenfolge, Wiederholung und Aufbewahrung fachlich festlegen; Pub/Sub, Streams und externe Messaging-Systeme anhand der Anforderungen vergleichen; Schlüssel-, Stream- und Consumer-Namenskonventionen definieren.

• Broadcast, Work Queue, Ereignisprotokoll und Zustandsänderung voneinander abgrenzen.
• Verlusttoleranz, Reihenfolge, Wiederholung und Aufbewahrung fachlich festlegen.
• Pub/Sub, Streams und externe Messaging-Systeme anhand der Anforderungen vergleichen.
• Schlüssel-, Stream- und Consumer-Namenskonventionen definieren.

Schritt-für-Schritt-Praxis

1. Ausgangslage und Zielkriterien erfassen: Broadcast, Work Queue, Ereignisprotokoll und Zustandsänderung voneinander abgrenzen.
2. Konfiguration oder Implementierung aufbauen: Verlusttoleranz, Reihenfolge, Wiederholung und Aufbewahrung fachlich festlegen.
3. Normal-, Grenz- und Fehlerfall prüfen: Pub/Sub, Streams und externe Messaging-Systeme anhand der Anforderungen vergleichen.
4. Betriebsentscheidung und Prüfnachweis festhalten: Schlüssel-, Stream- und Consumer-Namenskonventionen definieren.

Kapitel 2: Pub/Sub-Grundlagen und Clientverhalten

Kapitelübersicht: Kanäle, Pattern-Abonnements und Nachrichtenfluss praktisch aufbauen; Getrennte Verbindungen und Zustandswechsel eines Subscriber-Clients berücksichtigen; Verbindungsabbruch, Reconnect und verlorene Nachrichten transparent testen; Nachrichtenrate, Subscriber-Lag und Puffergrenzen aus Clientsicht beobachten.

• Kanäle, Pattern-Abonnements und Nachrichtenfluss praktisch aufbauen.
• Getrennte Verbindungen und Zustandswechsel eines Subscriber-Clients berücksichtigen.
• Verbindungsabbruch, Reconnect und verlorene Nachrichten transparent testen.
• Nachrichtenrate, Subscriber-Lag und Puffergrenzen aus Clientsicht beobachten.

Schritt-für-Schritt-Praxis

1. Ausgangslage und Zielkriterien erfassen: Kanäle, Pattern-Abonnements und Nachrichtenfluss praktisch aufbauen.
2. Konfiguration oder Implementierung aufbauen: Getrennte Verbindungen und Zustandswechsel eines Subscriber-Clients berücksichtigen.
3. Normal-, Grenz- und Fehlerfall prüfen: Verbindungsabbruch, Reconnect und verlorene Nachrichten transparent testen.
4. Betriebsentscheidung und Prüfnachweis festhalten: Nachrichtenrate, Subscriber-Lag und Puffergrenzen aus Clientsicht beobachten.

Kapitel 3: Skalierung von Pub/Sub

Kapitelübersicht: Fan-out, Kanalstruktur und Subscriberanzahl auf Netzwerk- und CPU-Wirkung prüfen; Clusterweite und partitionierte Verteilung für den Zielbetrieb einordnen; Große Payloads und langsame Subscriber als Betriebsrisiko erkennen; Überlastschutz und degradierte Betriebsmodi für flüchtige Nachrichten festlegen.

• Fan-out, Kanalstruktur und Subscriberanzahl auf Netzwerk- und CPU-Wirkung prüfen.
• Clusterweite und partitionierte Verteilung für den Zielbetrieb einordnen.
• Große Payloads und langsame Subscriber als Betriebsrisiko erkennen.
• Überlastschutz und degradierte Betriebsmodi für flüchtige Nachrichten festlegen.

Schritt-für-Schritt-Praxis

1. Ausgangslage und Zielkriterien erfassen: Fan-out, Kanalstruktur und Subscriberanzahl auf Netzwerk- und CPU-Wirkung prüfen.
2. Konfiguration oder Implementierung aufbauen: Clusterweite und partitionierte Verteilung für den Zielbetrieb einordnen.
3. Normal-, Grenz- und Fehlerfall prüfen: Große Payloads und langsame Subscriber als Betriebsrisiko erkennen.
4. Betriebsentscheidung und Prüfnachweis festhalten: Überlastschutz und degradierte Betriebsmodi für flüchtige Nachrichten festlegen.

Kapitel 4: Streams und Eintragsmodell

Kapitelübersicht: Stream-IDs, Felder, Range-Abfragen und inkrementelles Lesen anwenden; Explizite IDs und serverseitig erzeugte IDs nach Ordnungsanforderung auswählen; Eintragsgröße und Feldstruktur auf Speicher, Filterung und Weiterverarbeitung abstimmen; Produktion und einfache Verarbeitung mit reproduzierbaren Prüfpunkten implementieren.

• Stream-IDs, Felder, Range-Abfragen und inkrementelles Lesen anwenden.
• Explizite IDs und serverseitig erzeugte IDs nach Ordnungsanforderung auswählen.
• Eintragsgröße und Feldstruktur auf Speicher, Filterung und Weiterverarbeitung abstimmen.
• Produktion und einfache Verarbeitung mit reproduzierbaren Prüfpunkten implementieren.

Schritt-für-Schritt-Praxis

1. Ausgangslage und Zielkriterien erfassen: Stream-IDs, Felder, Range-Abfragen und inkrementelles Lesen anwenden.
2. Konfiguration oder Implementierung aufbauen: Explizite IDs und serverseitig erzeugte IDs nach Ordnungsanforderung auswählen.
3. Normal-, Grenz- und Fehlerfall prüfen: Eintragsgröße und Feldstruktur auf Speicher, Filterung und Weiterverarbeitung abstimmen.
4. Betriebsentscheidung und Prüfnachweis festhalten: Produktion und einfache Verarbeitung mit reproduzierbaren Prüfpunkten implementieren.

Kapitel 5: Consumer Groups und Zustellfortschritt

Kapitelübersicht: Gruppe, Consumer, Lastverteilung und Bestätigung als Zustandsmodell verstehen; Neue und ausstehende Nachrichten getrennt lesen und bestätigen; Pending Entries nach Alter, Besitzer und Wiederholungszahl untersuchen; Verwaiste Arbeit kontrolliert übernehmen und doppelte Verarbeitung beherrschen.

• Gruppe, Consumer, Lastverteilung und Bestätigung als Zustandsmodell verstehen.
• Neue und ausstehende Nachrichten getrennt lesen und bestätigen.
• Pending Entries nach Alter, Besitzer und Wiederholungszahl untersuchen.
• Verwaiste Arbeit kontrolliert übernehmen und doppelte Verarbeitung beherrschen.

Schritt-für-Schritt-Praxis

1. Ausgangslage und Zielkriterien erfassen: Gruppe, Consumer, Lastverteilung und Bestätigung als Zustandsmodell verstehen.
2. Konfiguration oder Implementierung aufbauen: Neue und ausstehende Nachrichten getrennt lesen und bestätigen.
3. Normal-, Grenz- und Fehlerfall prüfen: Pending Entries nach Alter, Besitzer und Wiederholungszahl untersuchen.
4. Betriebsentscheidung und Prüfnachweis festhalten: Verwaiste Arbeit kontrolliert übernehmen und doppelte Verarbeitung beherrschen.

Kapitel 6: Idempotenz, Fehlerbehandlung und Dead Letter

Kapitelübersicht: Mindestens-einmal-Zustellung in fachliche Idempotenzregeln übersetzen; Temporäre und permanente Fehler mit begrenzten Wiederholungen unterscheiden; Fehlerhafte Einträge in einen nachvollziehbaren Nebenpfad überführen; Status, Ursache und manuelle Entscheidung revisionsfähig dokumentieren.

• Mindestens-einmal-Zustellung in fachliche Idempotenzregeln übersetzen.
• Temporäre und permanente Fehler mit begrenzten Wiederholungen unterscheiden.
• Fehlerhafte Einträge in einen nachvollziehbaren Nebenpfad überführen.
• Status, Ursache und manuelle Entscheidung revisionsfähig dokumentieren.

Schritt-für-Schritt-Praxis

1. Ausgangslage und Zielkriterien erfassen: Mindestens-einmal-Zustellung in fachliche Idempotenzregeln übersetzen.
2. Konfiguration oder Implementierung aufbauen: Temporäre und permanente Fehler mit begrenzten Wiederholungen unterscheiden.
3. Normal-, Grenz- und Fehlerfall prüfen: Fehlerhafte Einträge in einen nachvollziehbaren Nebenpfad überführen.
4. Betriebsentscheidung und Prüfnachweis festhalten: Status, Ursache und manuelle Entscheidung revisionsfähig dokumentieren.

Kapitel 7: Retention, Trimming und Speicherplanung

Kapitelübersicht: Aufbewahrungsziel aus Wiederholungsfenster und Datenvolumen ableiten; Exaktes und approximatives Trimming auf Laufzeit und Genauigkeit vergleichen; Pending Entries vor Löschung oder Archivierung berücksichtigen; Wachstum, Hot Streams und Speichergrenzen mit Alarmen absichern.

• Aufbewahrungsziel aus Wiederholungsfenster und Datenvolumen ableiten.
• Exaktes und approximatives Trimming auf Laufzeit und Genauigkeit vergleichen.
• Pending Entries vor Löschung oder Archivierung berücksichtigen.
• Wachstum, Hot Streams und Speichergrenzen mit Alarmen absichern.

Schritt-für-Schritt-Praxis

1. Ausgangslage und Zielkriterien erfassen: Aufbewahrungsziel aus Wiederholungsfenster und Datenvolumen ableiten.
2. Konfiguration oder Implementierung aufbauen: Exaktes und approximatives Trimming auf Laufzeit und Genauigkeit vergleichen.
3. Normal-, Grenz- und Fehlerfall prüfen: Pending Entries vor Löschung oder Archivierung berücksichtigen.
4. Betriebsentscheidung und Prüfnachweis festhalten: Wachstum, Hot Streams und Speichergrenzen mit Alarmen absichern.

Kapitel 8: Cluster, Performance und Betrieb

Kapitelübersicht: Streamschlüssel und Consumerzugriff auf Slot- und Lastverteilung abstimmen; Batchgröße, Blockierzeit und Parallelität gegen Latenz und Durchsatz messen; Produzenten-, Consumer- und Servermetriken in einem Dashboard verbinden; Ausfall-, Restart-, Lag- und Reclaim-Szenarien in einem Betriebsrunbook testen.

• Streamschlüssel und Consumerzugriff auf Slot- und Lastverteilung abstimmen.
• Batchgröße, Blockierzeit und Parallelität gegen Latenz und Durchsatz messen.
• Produzenten-, Consumer- und Servermetriken in einem Dashboard verbinden.
• Ausfall-, Restart-, Lag- und Reclaim-Szenarien in einem Betriebsrunbook testen.

Schritt-für-Schritt-Praxis

1. Ausgangslage und Zielkriterien erfassen: Streamschlüssel und Consumerzugriff auf Slot- und Lastverteilung abstimmen.
2. Konfiguration oder Implementierung aufbauen: Batchgröße, Blockierzeit und Parallelität gegen Latenz und Durchsatz messen.
3. Normal-, Grenz- und Fehlerfall prüfen: Produzenten-, Consumer- und Servermetriken in einem Dashboard verbinden.
4. Betriebsentscheidung und Prüfnachweis festhalten: Ausfall-, Restart-, Lag- und Reclaim-Szenarien in einem Betriebsrunbook testen.

Praxislabor

Kapitelübersicht: Ein Pub/Sub-Szenario mit Reconnect und absichtlich langsamem Subscriber untersuchen; Einen Stream mit Consumer Group, Bestätigung und Pending-Analyse aufbauen; Ausgefallene Consumer simulieren und verwaiste Einträge kontrolliert übernehmen; Retention, Idempotenz, Dead-Letter-Pfad und Monitoring für einen Beispielprozess entwerfen.

1. Ein Pub/Sub-Szenario mit Reconnect und absichtlich langsamem Subscriber untersuchen.
2. Einen Stream mit Consumer Group, Bestätigung und Pending-Analyse aufbauen.
3. Ausgefallene Consumer simulieren und verwaiste Einträge kontrolliert übernehmen.
4. Retention, Idempotenz, Dead-Letter-Pfad und Monitoring für einen Beispielprozess entwerfen.

Zielgruppe, Voraussetzungen und Arbeitsweise

Kapitelübersicht: Zielgruppe: Softwareentwicklung, Integrationsarchitektur, Plattformbetrieb, DevOps, Event- und Datenengineering sowie technische Anwendungsbetreuung; Voraussetzungen: Sichere Valkey-Grundkenntnisse und praktische Erfahrung mit mindestens einer Programmiersprache und Clientbibliothek; Arbeitsweise: Fachvortrag, Demonstrationen, angeleitete Laboraufgaben, Fehleranalysen und dokumentierte Abnahmen.

Zielgruppe: Softwareentwicklung, Integrationsarchitektur, Plattformbetrieb, DevOps, Event- und Datenengineering sowie technische Anwendungsbetreuung.

Voraussetzungen: Sichere Valkey-Grundkenntnisse und praktische Erfahrung mit mindestens einer Programmiersprache und Clientbibliothek.

Arbeitsweise: Fachvortrag, technische Demonstrationen, strukturierte Schrittfolgen, praktische Übungen am System, kontrollierte Fehlerfälle und schriftliche Prüfpunkte.