Seminar Tenzir – TQL für Fortgeschrittene

Komplexe Pipelines werden durch klare Datenverträge, kleine Bausteine und bewusstes Fehler- und Lastverhalten wartbar, nicht durch bloße Operatorenzahl. Im Mittelpunkt stehen fortgeschrittene TQL-Entwurfsmuster für komplexe, mehrschemafähige, parametrische, zeitbezogene und wiederverwendbare Security-Data-Pipelines.

Seminarziel

Nach dem Seminar können anspruchsvolle TQL-Pipelines strukturiert, parametrisiert, optimiert, getestet und als wiederverwendbare Bausteine bereitgestellt werden.

Inhaltsübersicht

1. Kapitel 1: Werte, Typen und Strukturen
2. Kapitel 2: Subpipelines, Verzweigungen und Kontrollfluss
3. Kapitel 3: Aggregation, Zeitfenster und Zustände
4. Kapitel 4: Wiederverwendbare Operatoren und Parameter
5. Kapitel 5: TQL-Performance und Produktionsreife
6. Praxisübungen
7. Zielgruppe und Voraussetzungen

Kapitel 1: Werte, Typen und Strukturen

1. Schritt 1: Text, Zahlen, Wahrheitswerte, Zeitwerte, Dauerwerte und fehlende Werte sicher unterscheiden.
2. Schritt 2: Records, verschachtelte Felder, Listen und optionale Strukturen adressieren und verändern.
3. Schritt 3: Datentypen prüfen, kontrolliert konvertieren und Konvertierungsverluste sichtbar machen.
4. Schritt 4: Mehrere Schemas im selben Datenstrom erkennen, trennen und nachvollziehbar behandeln.

Kapitel 2: Subpipelines, Verzweigungen und Kontrollfluss

1. Schritt 1: Subpipelines für lokale Transformation, Validierung, Enrichment und Ausgabe strukturieren.
2. Schritt 2: Verzweigungen, Gruppen und elementweise Verarbeitung passend zum Datenmodell einsetzen.
3. Schritt 3: Gemeinsame Logik zentralisieren und versteckte Seiteneffekte oder zyklische Abhängigkeiten vermeiden.
4. Schritt 4: Fehler-, Warn- und Quarantänepfade als festen Bestandteil des Entwurfs behandeln.

Kapitel 3: Aggregation, Zeitfenster und Zustände

1. Schritt 1: Gruppierungen, Zähler, Summen, eindeutige Werte und weitere Aggregationen korrekt anwenden.
2. Schritt 2: Ereigniszeit, Verarbeitungszeit, Zeitfenster und verspätete Daten voneinander unterscheiden.
3. Schritt 3: Schwellen-, Burst-, Häufigkeits- und Wiederholungsmuster mit nachvollziehbaren Fenstern modellieren.
4. Schritt 4: Speicher- und Laufzeitkosten großer Gruppierungen und langer Zeiträume begrenzen.

Kapitel 4: Wiederverwendbare Operatoren und Parameter

1. Schritt 1: Benutzerdefinierte Operatoren mit klaren Eingaben, Ausgaben und Fehlerverhalten definieren.
2. Schritt 2: Parameter, Standardwerte und Validierungen für unterschiedliche Betriebsvarianten gestalten.
3. Schritt 3: Parser-, Mapping-, Enrichment- und Routingmuster in kleine, prüfbare Bausteine zerlegen.
4. Schritt 4: Bausteine dokumentieren, testen und für die spätere Package-Nutzung vorbereiten.

Kapitel 5: TQL-Performance und Produktionsreife

1. Schritt 1: Teure Schritte durch Messung von Durchsatz, Latenz, CPU, Speicher und I/O lokalisieren.
2. Schritt 2: Filterreihenfolge, Feldumfang, Parsing, Enrichment, Aggregation und Ausgabe gezielt optimieren.
3. Schritt 3: Backpressure, Datenreihenfolge, Zielausfall und Ressourcenlimits in den Pipelineentwurf einbeziehen.
4. Schritt 4: Komplexe Änderungen mit Vergleichsdaten, Tests, Canary-Aktivierung und Rollback absichern.

Praxisübungen

1. Übung 1: Monolithische Pipeline in Subpipelines zerlegen.
2. Übung 2: Mehrschema-Verarbeitung mit Fehlerpfaden aufbauen.
3. Übung 3: Zeitfensterbasierte Aggregation umsetzen.
4. Übung 4: Parametrischen benutzerdefinierten Operator entwickeln.

Zielgruppe

Erfahrene TQL-Anwender, Security Data Engineers, Detection Engineers, Integrationsentwickler und Package-Entwickler.

Voraussetzungen

Sichere Beherrschung der TQL-Grundlagen sowie praktische Erfahrung mit eigenen Pipelines, strukturierten Daten und Fehleranalyse.