Seminar EclecticIQ Intelligence Center – Datenqualität, Deduplication und Property Propagation

Hohe Datenmengen sind ohne kontrollierte Konsolidierung, Herkunftsnachweis und Qualitätsregeln eher Belastung als Nutzen. Das Seminar entwickelt ein Datenqualitätsmodell und setzt Deduplication, Zusammenführung, Entkopplung, Property Propagation und Aufbewahrungsregeln mit prüfbaren Leitplanken ein.

Inhaltsübersicht

• Zielsetzung
• Zielgruppe
• Voraussetzungen
• Seminarinhalte
• Praxisübungen
• Didaktik und Arbeitsweise

Zielsetzung

• messbare Qualitätskriterien für Intelligence-Daten definieren
• Duplikate transparent zusammenführen und Quellenfidelity erhalten
• manuelle Merge- und Decouple-Entscheidungen sicher durchführen
• Eigenschaften mit Property Propagation kontrolliert übertragen
• Datenalterung, Inaktivität, Aufbewahrung und Qualitätskennzahlen steuern

Zielgruppe

CTI-Lead, Datenverantwortung, Plattformadministration, Feed Engineering, Analysten, Revision und Informationssicherheit.

Voraussetzungen

Sichere Bedienung von Entities, Observables, Quellen und Metadaten. Kenntnisse zu Datenherkunft und fachlichen Qualitätsanforderungen sind erforderlich.

Seminarinhalte

1. Schritt 1: Qualitätsziele und Verantwortungen festlegen

   Vollständigkeit, Aktualität, Eindeutigkeit, Konsistenz, Herkunft, Relevanz und Verwendbarkeit werden messbar beschrieben. Für jede Dimension werden Eigentümer, Grenzwerte und Eskalationen festgelegt.

2. Schritt 2: Datenquellen und Konfliktregeln klassifizieren

   Quellen werden nach Zuverlässigkeit, Aktualität, Abdeckung und vertraglichen Einschränkungen bewertet. Für widersprüchliche Felder wird definiert, ob Priorität, jüngster Wert, Mehrfachwert oder manuelle Entscheidung gilt.

3. Schritt 3: Deduplication-Kriterien verstehen

   Objekttyp, Identitätsmerkmale, Normalisierung und Ähnlichkeit werden anhand typischer Threat-Actor-, Malware- und Report-Duplikate untersucht. Automatische Zusammenführung wird nur für ausreichend eindeutige Fälle freigegeben.

4. Schritt 4: Feldweise Merge-Strategien konfigurieren

   Namen, Aliase, Beschreibungen, Zeitangaben, Tags, Quellen und Beziehungen werden getrennt betrachtet. Für jedes Feld wird festgelegt, wie Werte kombiniert werden und wie Originalbeiträge sichtbar bleiben.

5. Schritt 5: Quellenfidelity und Audit erhalten

   Nach einer Zusammenführung werden Herkunft, ursprüngliche Werte und Änderungshistorie überprüft. Die konsolidierte Sicht darf die Möglichkeit zur Rückverfolgung und Korrektur nicht zerstören.

6. Schritt 6: Manuelles Merge kontrolliert durchführen

   Zwei echte Duplikate werden verglichen, Konflikte markiert und mit begründeter Auswahl zusammengeführt. Vorher und nachher werden Beziehungen, TLP, Confidence und Suchtreffer kontrolliert.

7. Schritt 7: Falsch zusammengeführte Objekte entkoppeln

   Ein Decouple-Fall wird anhand von Namensgleichheit bei unterschiedlicher Identität erkannt. Die Trennung wird durchgeführt und auf verlorene beziehungsweise falsch zugeordnete Beziehungen geprüft.

8. Schritt 8: Property-Propagation-Regeln entwerfen

   Geeignete Eigenschaften wie Tags, Markierungen oder Klassifikationen werden entlang klarer Beziehungspfade übertragen. Richtung, Objekttyp, Bedingung, Konfliktbehandlung und Abbruchkriterium werden explizit gesetzt.

9. Schritt 9: Propagation testen und begrenzen

   Eine Regel wird zunächst auf einen abgegrenzten Datenbestand angewendet. Stichproben, Negativfälle und Rücknahme prüfen, ob keine unzulässige TLP-Absenkung oder fachlich falsche Vererbung entsteht.

10. Schritt 10: Datenalterung und Aufbewahrung steuern

    Inaktive, veraltete und nicht mehr zulässige Daten werden nach Quelle, Typ, Zeit und Nutzung klassifiziert. Retention-Policies werden mit Vorschau, Freigabe und Nachweis ausgeführt.

11. Schritt 11: Qualitätskennzahlen und Fehlerlisten aufbauen

    Duplikatquote, unvollständige Metadaten, veraltete Indicators, widersprüchliche Werte und Regelabweichungen werden als wiederkehrende Auswertung erfasst. Trends führen zu konkreten Korrekturmaßnahmen.

12. Schritt 12: Datenqualitätsverfahren dokumentieren

    Entscheidungsregeln, Ausnahmen, Freigaben und Prüfintervalle werden in ein Betriebsverfahren überführt. Es enthält auch einen Weg für Analysten, vermutete Qualitätsfehler zu melden.

Praxisübungen

1. Übung 1: Duplikatpaar bewerten

   Zwei ähnlich benannte Threat-Actor-Entities werden anhand von Aliasen, Zeitbezug, TTPs, Quellen und Beziehungen auf Identität geprüft.

2. Übung 2: Merge mit Feldkonflikten durchführen

   Ein kontrollierter Zusammenschluss erhält feldweise Entscheidungen und eine Prüfung der Quellenfidelity.

3. Übung 3: Fehlzusammenführung entkoppeln

   Ein vorbereiteter Fehlerfall wird getrennt; Beziehungen und Suchergebnisse werden danach validiert.

4. Übung 4: Propagation-Regel testen

   Ein Tag wird nur entlang einer definierten Beziehung und für einen bestimmten Entity-Typ übertragen. Positiv- und Negativfälle werden dokumentiert.

5. Übung 5: Retention-Vorschau bewerten

   Eine simulierte Aufbewahrungsregel wird auf unbeabsichtigte Treffer, rechtliche Einschränkungen und Wiederherstellungsbedarf geprüft.

Didaktik und Arbeitsweise

Kurze Fachimpulse werden unmittelbar durch Demonstrationen, strukturierte Arbeitsschritte, Praxisübungen und kontrollierte Fehlerfälle vertieft. Jede Übung verwendet definierte Ausgangswerte, Prüfpunkte und Dokumentationsanforderungen. Die erarbeiteten Verfahren bleiben dadurch im späteren Betrieb wiederholbar und auditierbar.