Seminar Maestro – CI/CD-Integration und automatisierte Testausführung

Inhaltsverzeichnis

1. Seminarprofil
2. Lernziele
3. Seminarinhalte
4. Praxisübungen
5. Zielgruppe und Voraussetzungen
6. Praxisnutzen

Seminarprofil

Dieses praxisorientierte Seminar behandelt verlässliche Maestro-Läufe in Build-, Pull-Request- und Release-Pipelines. Die Arbeit erfolgt schrittweise an ausführbaren Flows, klar definierten Testzuständen und nachvollziehbaren Diagnoseartefakten. Konfiguration, Testlogik und Betriebsanforderungen werden so verbunden, dass die erarbeiteten Muster in produktiven Teams weiterverwendbar bleiben.

Lernziele

• lokale Flows nicht-interaktiv ausführen
• Pipeline-Matrizen und Laufklassen planen
• Secrets und Testdaten sicher zuführen
• Berichte sowie Diagnoseartefakte dauerhaft sichern
• Freigaberegeln für instabile Tests definieren

Seminarinhalte

Schritt 1: Automatisierte Ausführung in der Pipeline vorbereiten

Der lokale Flow wird in einen nicht-interaktiven Lauf überführt. Installation, Build-Artefakt, Gerätebereitstellung, Exit-Code und Ergebnisdateien werden als vollständige Pipeline-Stufe betrachtet.

• reproduzierbare CLI-Installation festlegen
• App-Artefakt und Testsuite eindeutig versionieren
• Fehlerstatus und Artefakte zuverlässig an die Pipeline übergeben

Schritt 2: CLI und Laufzeitumgebung installieren

Die lokale Arbeitsumgebung wird nachvollziehbar aufgebaut. Installation, Versionsprüfung, Verzeichnisstruktur und Verbindung zu Emulatoren oder Simulatoren werden so dokumentiert, dass derselbe Aufbau auf weiteren Arbeitsplätzen reproduziert werden kann.

• Systemvoraussetzungen und Pfadkonfiguration prüfen
• CLI-Version und Geräteerkennung kontrollieren
• ein minimales Projektverzeichnis mit klarer Namenskonvention anlegen

Schritt 3: Tags und Testauswahl für unterschiedliche Läufe verwenden

Tests werden nach Zweck, Risiko, Plattform und Laufzeit klassifiziert. Dadurch können Smoke-, Regression- und Freigabeläufe gezielt zusammengestellt werden, ohne Dateien manuell zu verschieben.

• kleine, stabile Tag-Taxonomie definieren
• Ein- und Ausschlussregeln für Pipelines festlegen
• veraltete oder widersprüchliche Tags regelmäßig bereinigen

Schritt 4: Pipeline-Matrix und Laufklassen gestalten

Smoke-, Pull-Request- und Regressionsläufe erhalten unterschiedliche Testauswahl, Geräteprofile und Zeitbudgets. Eine Matrix wird nur dort erweitert, wo sie ein reales Plattformrisiko abdeckt.

• Tags und Geräteparameter zur Laufsteuerung verwenden
• schnelle Rückmeldung von vollständiger Abdeckung trennen
• Abbruch-, Wiederholungs- und Freigaberegeln dokumentieren

Schritt 5: Geheimnisse und Umgebungswerte sicher verwalten

Testkonten, Tokens und Zielumgebungen werden nicht in YAML-Dateien gespeichert. Pipeline-Secrets und getrennte Konfigurationen liefern Werte zur Laufzeit und verhindern versehentliche Veröffentlichung.

• geheime und nicht geheime Werte trennen
• Ausgabe sensibler Werte in Protokollen vermeiden
• Rotation und Gültigkeit von Testzugängen kontrollieren

Schritt 6: Testdaten und Ausgangszustände kontrollieren

Ein verlässlicher Test benötigt definierte Daten. Lokale App-Daten, Serverzustand und eindeutige Testobjekte werden so vorbereitet, dass parallele oder wiederholte Läufe einander nicht beeinflussen.

• lokalen Zustand löschen oder gezielt erhalten
• eindeutige Testdaten je Lauf erzeugen
• Aufräumen und Wiederanlauf nach fehlgeschlagenen Tests festlegen

Schritt 7: Berichte und Artefakte in CI sichern

Screenshots, Protokolle, Videos und maschinenlesbare Ergebnisse werden auch bei einem Fehler hochgeladen. Die Benennung ermöglicht die Zuordnung zu Commit, Gerät, Flow und Wiederholung.

• Artefaktverzeichnis vor dem Lauf festlegen
• Upload auch bei fehlgeschlagenen Schritten erzwingen
• Aufbewahrungsdauer und Zugriff nach Schutzbedarf definieren

Schritt 8: Berichte und Laufartefakte auswertbar machen

Testergebnisse werden für Entwickler, Qualitätssicherung und Betrieb unterschiedlich aufbereitet. Maschinenlesbare Berichte, Screenshots, Protokolle und Geräteinformationen bilden zusammen einen nachvollziehbaren Fehlerkontext.

• Berichtsformat passend zur Zielplattform wählen
• Artefakte auch bei abgebrochenen Läufen sichern
• Aufbewahrung und Zugriff auf sensible Daten regeln

Schritt 9: Flaky Tests methodisch analysieren

Unzuverlässige Tests werden nach Ursache klassifiziert: Synchronisation, Selektor, Testdaten, Geräteinstabilität oder echter Produktfehler. Wiederholungen dienen der Diagnose und nicht dem Verdecken struktureller Probleme.

• Fehlerhäufigkeit und betroffene Umgebung erfassen
• kleinsten reproduzierbaren Flow isolieren
• Korrektur durch kontrollierte Mehrfachausführung bestätigen

Schritt 10: Governance und Qualitätsregeln festlegen

Namenskonventionen, Reviewpflicht, Eigentümerschaft, Freigaben und Umgang mit instabilen Tests werden als verbindlicher Betriebsrahmen beschrieben. Die Regeln sind kurz, messbar und in den Entwicklungsablauf integrierbar.

• Definition of Done für neue Flows vereinbaren
• Verantwortung für Tests und Testdaten zuordnen
• Quarantäne und Rückführung instabiler Tests regeln

Schritt 11: Durchgängiges Praxisprojekt abschließen

Die behandelten Bausteine werden in einer vollständigen Testsuite zusammengeführt. Der Ablauf reicht von der lokalen Erstellung über strukturierte Wiederverwendung bis zur automatisierten Ausführung und nachvollziehbaren Fehleranalyse.

• kritische Journey mit definierten Testdaten modellieren
• Suite lokal und in einer automatisierten Umgebung ausführen
• Ergebnisse prüfen, Fehler beheben und Wartungsregeln dokumentieren

Praxisübungen

1. Lokalen Smoke-Flow als wiederholbare Pipeline-Stufe ausführen
2. Tag-gesteuerte Matrix für Pull Request und nächtliche Regression entwerfen
3. Fehlerlauf mit vollständigen Artefakten, Exit-Code und geregelter Wiederholung absichern

Zielgruppe und Voraussetzungen

Zielgruppe: DevOps Engineers, Mobile-Entwickler, QA Engineers, Build-Verantwortliche und Plattformteams.

Voraussetzungen: Sichere CLI-Grundlagen, Versionskontrolle und Grundkenntnisse einer CI/CD-Plattform.

Praxisnutzen

Nach Abschluss stehen belastbare Vorgehensweisen, wiederverwendbare YAML-Bausteine und klare Prüfkriterien zur Verfügung. Tests können reproduzierbar ausgeführt, fachlich verständlich bewertet und bei Fehlern mit einer systematischen Diagnose bearbeitet werden.