Seminar OmniLab Android Test Station (ATS) – Mobly-Mehrgerätetests mit ATS

Mehrgerätetests prüfen Interaktionen, die mit einem einzelnen Android-Gerät nicht abbildbar sind. Das Seminar verbindet das rollenbasierte Mobly-Testmodell mit Gerätezuweisung, Ressourcenverwaltung und Laufüberwachung in ATS 2.0 und schafft einen reproduzierbaren Ablauf für physische oder virtuelle Testgeräte.

Inhaltsverzeichnis

• Lernziele
• Zielgruppe
• Voraussetzungen
• Seminarinhalte
• Mehrgerätetest und Rollenmodell
• Testpaket und Konfiguration vorbereiten
• ATS-Testdefinition für Mobly
• Geräteanforderungen und Zuweisung
• Testlauf und Synchronisation
• Logs und Resultate
• Physische und virtuelle Geräte
• Kontinuierliche Mehrgerätetests
• Praxisübungen
• Methodik

Lernziele

• Mobly-Testaufbau und ATS-Orchestrierung voneinander abgrenzen und verbinden.
• Geräterollen und Anforderungen für einen Mehrgerätetest beschreiben.
• Testpakete, Konfigurationen und ergänzende Ressourcen in ATS bereitstellen.
• Mehrere Geräte kontrolliert zuweisen, einen Lauf ausführen und Fehler eingrenzen.
• Mobly- und ATS-Protokolle gemeinsam für die Ergebnisanalyse nutzen.

Zielgruppe

Android-Testautomatisierung, Connectivity- und Systemtest, Quality Engineering, Geräteintegration und ATS-Administration.

Voraussetzungen

Sichere ATS-Bedienung, grundlegende Python-Kenntnisse und ein technisches Verständnis von Mobly-Tests. Für Übungen werden mindestens zwei geeignete Geräte oder virtuelle Instanzen benötigt.

Seminarinhalte

Mehrgerätetest und Rollenmodell

1. Schritt 1: Testfall, Controller, Geräteobjekte und Rollen eines Mobly-Ablaufs einordnen.
2. Schritt 2: Kommunikations- und Vorbereitungsanforderungen für jedes beteiligte Gerät erfassen.
3. Schritt 3: Erfolgskriterien und gemeinsame Abbruchbedingungen für den Gesamtverbund definieren.

Testpaket und Konfiguration vorbereiten

1. Schritt 1: Python-Testcode, Konfigurationsdaten und zusätzliche Dateien zu einem reproduzierbaren Paket bündeln.
2. Schritt 2: Parameter, globale Werte und sensible Angaben voneinander trennen.
3. Schritt 3: Einen lokalen Probelauf oder eine statische Prüfung vor der ATS-Integration durchführen.

ATS-Testdefinition für Mobly

1. Schritt 1: Eine passende Mobly-Testdefinition auswählen oder erstellen.
2. Schritt 2: Testressourcen, Aufrufparameter und erwartete Ausgabedateien zuordnen.
3. Schritt 3: Die Definition mit einer kleinen, deterministischen Mehrgeräteprüfung validieren.

Geräteanforderungen und Zuweisung

1. Schritt 1: Geräterollen in Device Specs oder eindeutige Geräteauswahl übertragen.
2. Schritt 2: Build, Produkt, Variante und Konnektivitätsmerkmale als Auswahlkriterien festlegen.
3. Schritt 3: Vor dem Start Verfügbarkeit, Ladezustand, Netzwerk und gegenseitige Erreichbarkeit prüfen.

Testlauf und Synchronisation

1. Schritt 1: Den Mehrgerätetest starten und die gemeinsame Zuweisung aller benötigten Geräte beobachten.
2. Schritt 2: Zeitüberschreitungen, Synchronisationspunkte und Teilfehler anhand der laufenden Protokolle bewerten.
3. Schritt 3: Den Verbund nach Abbruch oder Fehler in einen definierten Ausgangszustand zurückführen.

Logs und Resultate

1. Schritt 1: ATS-Status, OmniLab-Protokolle, Mobly-Logs und gerätespezifische Ausgaben zeitlich zusammenführen.
2. Schritt 2: Den zuerst auftretenden Primärfehler von nachfolgenden Sekundärfehlern trennen.
3. Schritt 3: Reproduktionsdaten mit Rollenbelegung, Buildständen und Testparametern sichern.

Physische und virtuelle Geräte

1. Schritt 1: Hardwareabhängige und hardwareunabhängige Testfälle unterscheiden.
2. Schritt 2: Physische Geräte, lokale Cuttlefish-Instanzen und entfernte Ressourcen nach Eignung auswählen.
3. Schritt 3: Gemischte Umgebungen nur nach kontrollierter Prüfung von Timing, Netzwerk und Gerätefähigkeit einsetzen.

Kontinuierliche Mehrgerätetests

1. Schritt 1: Stabile Referenzgeräte und reservierte Zeitfenster für wiederkehrende Läufe festlegen.
2. Schritt 2: Testplan, Ressourcen und Fehlerbenachrichtigung auf den Mehrgerätecharakter abstimmen.
3. Schritt 3: Flaky Tests, Geräteinstabilität und Infrastrukturprobleme mit getrennten Kennzahlen verfolgen.

Praxisübungen

• Modellieren eines Mehrgerätetests mit zwei klaren Rollen.
• Verpacken und Einbinden eines vorbereiteten Mobly-Tests in ATS.
• Ausführen des Tests auf zwei Geräten und Auswerten der kombinierten Protokolle.
• Überführen des stabilisierten Tests in einen wiederkehrenden Testplan.

Methodik

Ein kleiner Mehrgerätetest wird vom Rollenmodell bis zum wiederkehrenden ATS-Lauf aufgebaut. Gezielte Synchronisations- und Gerätefehler machen die gemeinsame Logauswertung nachvollziehbar.