Seminar Tenzir – Tenzir Test und Qualitätssicherung für Pipelines

Pipelinefehler können Daten verlieren, Felder verfälschen oder Erkennungen unbemerkt schwächen und müssen deshalb vor dem Rollout sichtbar werden. Im Mittelpunkt stehen reproduzierbare Tests für TQL-Pipelines und Packages mit Teststruktur, Fixtures, Baselines, Contexts, benutzerdefinierten Runnern und CI-Einbindung.

Seminarziel

Nach dem Seminar können wartbare Testsets erstellt, automatisiert ausgeführt und als verlässliche Freigabeschranke genutzt werden.

Inhaltsübersicht

1. Kapitel 1: Teststrategie und Testgrenzen
2. Kapitel 2: Testprojekt, Eingaben und Fixtures
3. Kapitel 3: Baselines und überprüfbare Ergebnisse
4. Kapitel 4: Contexts und benutzerdefinierte Runner
5. Kapitel 5: CI, Regression und Fehlersuche
6. Praxisübungen
7. Zielgruppe und Voraussetzungen

Kapitel 1: Teststrategie und Testgrenzen

1. Schritt 1: Kritische Verhaltensmerkmale für Parser, Transformation, Mapping, Enrichment, Routing und Fehlerpfade bestimmen.
2. Schritt 2: Unit-nahe Operatorentests, Pipeline-Tests und End-to-End-Tests sinnvoll voneinander abgrenzen.
3. Schritt 3: Normal-, Grenz-, Fehler-, Versions- und Lastfälle priorisieren.
4. Schritt 4: Akzeptanzkriterien und erlaubte Abweichungen vor der Testimplementierung dokumentieren.

Kapitel 2: Testprojekt, Eingaben und Fixtures

1. Schritt 1: Projekt- oder Package-Teststruktur mit eindeutigen Namen und reproduzierbaren Eingaben anlegen.
2. Schritt 2: Kleine, verständliche Fixtures aus realistischen und anonymisierten Daten erstellen.
3. Schritt 3: Mehrere Schemas, optionale Felder und fehlerhafte Datensätze gezielt abdecken.
4. Schritt 4: Testdaten, Secrets und externe Abhängigkeiten voneinander trennen.

Kapitel 3: Baselines und überprüfbare Ergebnisse

1. Schritt 1: Erwartete Ausgaben als Baselines erzeugen und fachlich prüfen.
2. Schritt 2: Reihenfolge, Zeitstempel, dynamische Werte und tolerierbare Unterschiede kontrollieren.
3. Schritt 3: Fehlerpfade, Quarantäne und Nichttreffer ausdrücklich testen.
4. Schritt 4: Baseline-Änderungen nur mit nachvollziehbarem Grund und Review akzeptieren.

Kapitel 4: Contexts und benutzerdefinierte Runner

1. Schritt 1: Test-Contexts mit definiertem Ausgangszustand laden und nach Testende bereinigen.
2. Schritt 2: Sequenzielle Abläufe für Aktualisierung, Lookup und zustandsabhängige Pipelines testen.
3. Schritt 3: Benutzerdefinierte Runner für externe Vor- oder Nachbedingungen kontrolliert einsetzen.
4. Schritt 4: Zeit-, Netzwerk- und Fremdsystemabhängigkeiten durch stabile Testdoubles begrenzen.

Kapitel 5: CI, Regression und Fehlersuche

1. Schritt 1: Tests in Commit-, Merge- und Releaseabläufe integrieren und Laufzeiten angemessen staffeln.
2. Schritt 2: Fehlschläge anhand von Eingabe, Zwischenergebnis, Diff und Umgebung systematisch analysieren.
3. Schritt 3: Flaky Tests erkennen und Ursachen statt bloßer Wiederholungen behandeln.
4. Schritt 4: Testabdeckung, Laufzeit und bekannte Lücken als Teil der Freigabe dokumentieren.

Praxisübungen

1. Übung 1: Testprojekt für Parser und Mapping aufbauen.
2. Übung 2: Fixtures und fachlich geprüfte Baselines erstellen.
3. Übung 3: Context-abhängiges Enrichment testen.
4. Übung 4: CI-Freigabeprozess simulieren.

Zielgruppe

TQL-Entwickler, Security Data Engineers, Detection Engineers, Package-Entwickler, DevOps-Teams und technische Reviewer.

Voraussetzungen

Sichere TQL-Grundkenntnisse, Erfahrung mit mindestens einer realen Pipeline sowie Grundlagen zu Git und automatisierten Tests.