Seminar Tenzir – Edge Storage und Security Data Lake

Nicht jede Telemetrie muss sofort und vollständig an ein teures Zielsystem übertragen werden; dennoch müssen Analysewert und Nachweisfähigkeit erhalten bleiben. Im Mittelpunkt stehen eine mehrstufige Speicherstrategie mit Edge Storage, Security Data Lake, Exportformaten, Retention, historischer Verarbeitung und kontrolliertem Reprocessing.

Seminarziel

Nach dem Seminar können Speicherpfade, Formate, Retention, Export, Wiederverarbeitung und Zugriffsmodelle für aktuelle und historische Daten entworfen werden.

Inhaltsübersicht

1. Kapitel 1: Speicherstrategie und Datenklassen
2. Kapitel 2: Edge Storage, Kapazität und Retention
3. Kapitel 3: Export und Security-Data-Lake-Integration
4. Kapitel 4: Historische Verarbeitung und Reprocessing
5. Kapitel 5: Speicherbetrieb, Sicherheit und Nachweis
6. Praxisübungen
7. Zielgruppe und Voraussetzungen

Kapitel 1: Speicherstrategie und Datenklassen

1. Schritt 1: Daten nach Echtzeitbedarf, Analysewert, Schutzbedarf, Volumen und Aufbewahrungspflicht klassifizieren.
2. Schritt 2: Hot-, Warm- und Cold-Pfade mit klaren Übergängen und Verantwortlichkeiten definieren.
3. Schritt 3: Roh-, bereinigte, normalisierte und angereicherte Datenstände voneinander abgrenzen.
4. Schritt 4: Kosten-, Wiederherstellungs- und Nachweisanforderungen je Speicherklasse dokumentieren.

Kapitel 2: Edge Storage, Kapazität und Retention

1. Schritt 1: Lokale Speicherung für unterbrochene Verbindungen, zeitversetzte Ausleitung und schnelle Rückfragen konfigurieren.
2. Schritt 2: Kapazitätsgrenzen, Retention, Rotation und Verhalten bei vollem Speicher festlegen.
3. Schritt 3: Schema- und Zeitinformationen für spätere Abfragen und Exporte erhalten.
4. Schritt 4: Integrität, Zugriffsschutz und Überwachung der gespeicherten Daten einrichten.

Kapitel 3: Export und Security-Data-Lake-Integration

1. Schritt 1: Zielformate wie Parquet oder zeilenorientierte Formate anhand von Abfrage, Kosten und Kompatibilität auswählen.
2. Schritt 2: Partitionierung, Dateigröße, Zeitpfade und Namenskonventionen für Objektspeicher festlegen.
3. Schritt 3: Export bei Zielausfall, Wiederholung und Teilfehlern ohne unbemerkte Lücken gestalten.
4. Schritt 4: Metadaten und Qualitätsinformationen gemeinsam mit den Ereignissen bereitstellen.

Kapitel 4: Historische Verarbeitung und Reprocessing

1. Schritt 1: Gespeicherte Daten für Hunting, neue Erkennungen, Schemawechsel oder Nachberechnungen gezielt laden.
2. Schritt 2: Transformationen auf ruhenden Daten mit definiertem Eingangs- und Ausgangsstand ausführen.
3. Schritt 3: Duplikate und Mehrfachverarbeitung durch Laufkennzeichen, Zeitbereiche und Ausgabeversionen kontrollieren.
4. Schritt 4: Reprocessing nach Umfang, Priorität und Ressourcenverbrauch begrenzen und überwachen.

Kapitel 5: Speicherbetrieb, Sicherheit und Nachweis

1. Schritt 1: Zugriffsrechte, Verschlüsselung, Schlüsselverwaltung und Löschprozesse je Speicherstufe festlegen.
2. Schritt 2: Speicherverbrauch, Exportverzug, fehlerhafte Dateien und Wiederverarbeitungsaufträge überwachen.
3. Schritt 3: Wiederherstellung und Lesbarkeit älterer Datenstände regelmäßig testen.
4. Schritt 4: Retention, Löschung und Zugriff für Audit und Compliance nachvollziehbar dokumentieren.

Praxisübungen

1. Übung 1: Edge-Storage-Pipeline mit Retention aufbauen.
2. Übung 2: Normalisierte Ereignisse partitioniert exportieren.
3. Übung 3: Historischen Zeitraum kontrolliert wiederverarbeiten.
4. Übung 4: Mehrstufiges Speicher- und Zugriffskonzept entwerfen.

Zielgruppe

Security Data Engineers, Plattformteams, SOC-Architekten, Data-Lake-Verantwortliche, Cloud Engineers und Compliance-nahe Betriebsrollen.

Voraussetzungen

TQL-Grundkenntnisse sowie Grundlagen zu Objektspeicher, Dateiformaten, Retention und Zugriffsschutz.