Seminar Tenzir – Grundlagen, Architektur und erste Pipelines

Ein gemeinsames Architektur- und Sprachverständnis ist die Voraussetzung für alle weiterführenden Data-, Detection- und Platform-Engineering-Aufgaben. Im Mittelpunkt stehen die Tenzir-Architektur, zentrale Plattformobjekte und den vollständigen Lebenszyklus einer ersten TQL-Pipeline von der Quelle bis zum Ziel.

Seminarziel

Nach dem Seminar können Kernobjekte erklärt, einfache TQL-Pipelines erstellt, beobachtet, getestet und kontrolliert verändert werden.

Inhaltsübersicht

1. Kapitel 1: Security-Data-Pipeline-Architektur
2. Kapitel 2: TQL-Syntax und Datenfluss
3. Kapitel 3: Werte, Typen und Strukturen
4. Kapitel 4: Filtern, Auswählen und Transformieren
5. Kapitel 5: Quellen, Ausgaben und Fehlersuche
6. Praxisübungen
7. Zielgruppe und Voraussetzungen

Kapitel 1: Security-Data-Pipeline-Architektur

1. Schritt 1: Quellen, Verarbeitungsschritte, Verzweigungen, Speicherpfade und Zielsysteme als zusammenhängenden Datenfluss modellieren.
2. Schritt 2: Streaming- und Batch-Verarbeitung sowie rohe Bytes und typisierte Ereignisse voneinander unterscheiden.
3. Schritt 3: Latenz, Durchsatz, Datenqualität, Kosten und Schutzbedarf als gemeinsame Entwurfsgrößen bewerten.
4. Schritt 4: Aufgaben von Nodes, Plattform, Workspaces, Pipelines, Packages, Contexts und Secrets im Gesamtbild abgrenzen.

Kapitel 2: TQL-Syntax und Datenfluss

1. Schritt 1: Pipelineoperatoren in Ausführungsreihenfolge lesen und Ein- sowie Ausgabe jedes Schritts beschreiben.
2. Schritt 2: Kommentare, Bezeichner, Literale, Ausdrücke und grundlegende Operatorverkettungen korrekt verwenden.
3. Schritt 3: Kleine Pipelines schrittweise aufbauen und Zwischenergebnisse nach jedem wesentlichen Schritt prüfen.
4. Schritt 4: Syntaxfehler, unvollständige Ausdrücke und unerwartete Daten systematisch voneinander unterscheiden.

Kapitel 3: Werte, Typen und Strukturen

1. Schritt 1: Text, Zahlen, Wahrheitswerte, Zeitwerte, Dauerwerte und fehlende Werte sicher unterscheiden.
2. Schritt 2: Records, verschachtelte Felder, Listen und optionale Strukturen adressieren und verändern.
3. Schritt 3: Datentypen prüfen, kontrolliert konvertieren und Konvertierungsverluste sichtbar machen.
4. Schritt 4: Mehrere Schemas im selben Datenstrom erkennen, trennen und nachvollziehbar behandeln.

Kapitel 4: Filtern, Auswählen und Transformieren

1. Schritt 1: Ereignisse mit klaren Bedingungen filtern und Filter schrittweise gegen Beispieldaten verifizieren.
2. Schritt 2: Benötigte Felder auswählen, umbenennen, anordnen, ergänzen oder entfernen.
3. Schritt 3: Text-, Zahlen-, Zeit- und Listenfunktionen passend zum jeweiligen Datentyp anwenden.
4. Schritt 4: Bedingte Werte, Standardwerte und kleine Normalisierungsmuster transparent formulieren.

Kapitel 5: Quellen, Ausgaben und Fehlersuche

1. Schritt 1: Testdaten, Dateien und geeignete Quellen kontrolliert in eine Pipeline einlesen.
2. Schritt 2: Ergebnisse in passende Formate und Ziele schreiben und die Ausgabeparameter prüfen.
3. Schritt 3: Fehler-, Warn- und Quarantänepfade für problematische Ereignisse aufbauen.
4. Schritt 4: Pipelines mit Beispieldaten, Kommentaren und reproduzierbaren Diagnoseabläufen dokumentieren.

Praxisübungen

1. Übung 1: Tenzir-Umgebung und Kernobjekte erkunden.
2. Übung 2: Erste Pipeline vom Eingang bis zum Ziel erstellen.
3. Übung 3: Typische Syntax-, Typ- und Datenfehler beheben.
4. Übung 4: Pipeline um Transformation und Fehlerausleitung erweitern.

Zielgruppe

Security Engineers, SOC-Teams, Data Engineers, Administratoren, Architekten, technische Projektleitung und Entwickler mit Einstieg in Tenzir.

Voraussetzungen

Grundkenntnisse zu Log- und Security-Daten sowie sicherer Umgang mit strukturierten Textformaten; Programmierkenntnisse sind nicht erforderlich.