Seminar CI/CD für Mobly-Testautomatisierung

Seminarprofil

Gerätebasierte Tests benötigen in Pipelines zusätzliche Steuerungsmechanismen für physische Ressourcen, Zustände und Diagnoseartefakte. Das Seminar entwickelt dafür einen durchgängigen Betriebsablauf.

Didaktische Einordnung: Drei Tage werden benötigt, um reproduzierbare Laufzeitumgebungen, Geräteorchestrierung sowie Reporting, Parallelisierung und Stabilitätsmaßnahmen in einer Pipeline praktisch umzusetzen.

Lernziele

• Mobly-Laufzeitumgebungen reproduzierbar aufbauen
• Tests und Testbeds parametrisiert aus Pipelines starten
• Physische Geräte sicher zuweisen und wieder freigeben
• Ergebnisdateien, Logs und Exit-Codes automatisiert bewerten
• Flakiness, Parallelität und Wartung im Dauerbetrieb beherrschen

Zielgruppe

DevOps- und CI-Verantwortliche, Testautomatisierer, Android-Testteams und Lab-Betreiber.

Voraussetzungen

Grundkenntnisse in Mobly, Python, Versionsverwaltung und CI/CD-Konzepten.

Inhaltsübersicht

1. Tag 1 – Reproduzierbare Laufzeitumgebung erstellen
2. Tag 1 – Runner und Konfiguration automatisieren
3. Tag 1 – Gerätebereitstellung in der Pipeline steuern
4. Tag 2 – Ergebnisstatus und Exit-Codes auswerten
5. Tag 2 – Logs und Artefakte standardisieren
6. Tag 2 – Testauswahl und Suite-Ausführung strukturieren
7. Tag 3 – Parallelisierung und Testbed-Allokation planen
8. Tag 3 – Repeat, Retry und Quarantäne regeln
9. Tag 3 – Sicherer Dauerbetrieb und Wartung

1. Tag 1 – Reproduzierbare Laufzeitumgebung erstellen

Die Arbeitsschritte bauen aufeinander auf und werden unmittelbar am Testsystem nachvollzogen.

1. Schritt 1: Python-Version, virtuelle Umgebung und Paketstände festlegen.
2. Schritt 2: ADB, Fastboot und weitere Systemabhängigkeiten vor dem Lauf prüfen.
3. Schritt 3: Eine versionierte Installations- und Validierungsroutine erstellen.

2. Tag 1 – Runner und Konfiguration automatisieren

Die Arbeitsschritte bauen aufeinander auf und werden unmittelbar am Testsystem nachvollzogen.

1. Schritt 1: Testpaket, Konfigurationsdatei und Testbed-Auswahl parametrisieren.
2. Schritt 2: Testfälle oder Suites gezielt über Kommandozeilenoptionen auswählen.
3. Schritt 3: Konfigurationsfehler vor Belegung eines Geräts abbrechen.

3. Tag 1 – Gerätebereitstellung in der Pipeline steuern

Die Arbeitsschritte bauen aufeinander auf und werden unmittelbar am Testsystem nachvollzogen.

1. Schritt 1: Geräte anhand von Rollen und Eigenschaften reservieren.
2. Schritt 2: Gesundheitsprüfung und definierte Ausgangszustände durchführen.
3. Schritt 3: Sperren auch bei Abbruch oder Timeout zuverlässig lösen.

4. Tag 2 – Ergebnisstatus und Exit-Codes auswerten

Die Arbeitsschritte bauen aufeinander auf und werden unmittelbar am Testsystem nachvollzogen.

1. Schritt 1: Erfolgs-, Fehler- und Abbruchzustände eindeutig in Pipeline-Status überführen.
2. Schritt 2: Testsummary und Einzelrecords maschinell verarbeiten.
3. Schritt 3: Infrastrukturfehler von Produktfehlern getrennt kennzeichnen.

5. Tag 2 – Logs und Artefakte standardisieren

Die Arbeitsschritte bauen aufeinander auf und werden unmittelbar am Testsystem nachvollzogen.

1. Schritt 1: Ausgabeverzeichnisse pro Lauf eindeutig erzeugen.
2. Schritt 2: Hostlogs, Gerätelogs, Videos und Zusatzdateien einsammeln.
3. Schritt 3: Aufbewahrungsregeln und kompakte Fehlerpakete definieren.

6. Tag 2 – Testauswahl und Suite-Ausführung strukturieren

Die Arbeitsschritte bauen aufeinander auf und werden unmittelbar am Testsystem nachvollzogen.

1. Schritt 1: Smoke-, Regression- und Spezialläufe als getrennte Profile modellieren.
2. Schritt 2: Muster oder Suite-Grenzen für Auswahlregeln nutzen.
3. Schritt 3: Metadaten für Nachvollziehbarkeit und Wiederholung ergänzen.

7. Tag 3 – Parallelisierung und Testbed-Allokation planen

Die Arbeitsschritte bauen aufeinander auf und werden unmittelbar am Testsystem nachvollzogen.

1. Schritt 1: Unabhängige Tests und gemeinsam genutzte Ressourcen identifizieren.
2. Schritt 2: Testbeds auf Worker verteilen und Konflikte verhindern.
3. Schritt 3: Kapazitätsgrenzen sowie Warteschlangen transparent machen.

8. Tag 3 – Repeat, Retry und Quarantäne regeln

Die Arbeitsschritte bauen aufeinander auf und werden unmittelbar am Testsystem nachvollzogen.

1. Schritt 1: Infrastrukturfehler von deterministischen Produktfehlern unterscheiden.
2. Schritt 2: Begrenzte Retry-Regeln mit vollständiger Protokollierung einführen.
3. Schritt 3: Instabile Tests isolieren, ohne Fehler dauerhaft zu verdecken.

9. Tag 3 – Sicherer Dauerbetrieb und Wartung

Die Arbeitsschritte bauen aufeinander auf und werden unmittelbar am Testsystem nachvollzogen.

1. Schritt 1: Zugangsdaten und gerätespezifische Geheimnisse getrennt verwalten.
2. Schritt 2: Abhängigkeiten und Testgeräte kontrolliert aktualisieren.
3. Schritt 3: Metriken für Laufzeit, Auslastung, Fehlerklassen und Flakiness auswerten.

Praxisprojekt

1. Schritt 1: Eine reproduzierbare Mobly-Laufzeitumgebung als Pipeline-Schritt definieren.
2. Schritt 2: Ein Testbed reservieren, prüfen und nach dem Lauf freigeben.
3. Schritt 3: Testergebnis, Exit-Code und Artefakte automatisiert bewerten.
4. Schritt 4: Zwei unabhängige Läufe mit begrenzter Parallelität und Retry-Regeln ausführen.