Seminar Apache SINGA - Distributed Training, Performance und Skalierung

Seminarprofil

Apache SINGA unterstützt datenparalleles Training über mehrere GPUs auf einem Knoten oder über mehrere Knoten hinweg. Genau dort beginnt der Bereich, in dem Architekturentscheidungen messbar teuer oder nützlich werden. Das Seminar behandelt nicht nur das bloße Starten verteilter Jobs, sondern die eigentlichen Hebel: Worker-Modell, Kommunikationskosten, All-Reduce-Verhalten, Optimizer-Strategien, Throughput-Messung, Speicherverbrauch und Fehlersuche unter Last. Vier Tage sind hier notwendig, weil verteiltes Training in der Praxis mehr ist als ein zusätzlicher Startparameter.

Schwerpunkte

• Architektur datenparalleler Trainingsläufe in Apache SINGA
• Worker-, Rank- und Gerätezuordnung in Multi-GPU- und Multi-Node-Szenarien
• Gradientensynchronisation, Kommunikationskosten und All-Reduce-basierte Abläufe
• Konfiguration von Optimierern, Batch-Größen, Lernraten und Gewichtungsparametern
• Auswertung von Throughput, Kommunikationszeit und Operatorlaufzeiten
• Half-Precision-Training zur Reduktion von Speicherbedarf und Laufzeit
• Sparsifikation, Benchmarking und Vergleich unterschiedlicher Trainingsvarianten
• Fehlersuche bei instabilem Training, Auslastungsproblemen und inkonsistenten Ergebnissen

Praxisanteil

Im praktischen Teil werden Trainingsläufe mit unterschiedlichen Geräte- und Prozesskonfigurationen aufgesetzt, gemessen und verglichen. Neben klassischen Skalierungsfragen geht es um nachvollziehbare Diagnosemethoden: Wo verliert das Training Zeit, wo steigt der Kommunikationsanteil, wann lohnt sich Half Precision, wann hilft ein sparsifizierter Ansatz, und wann ist die Datenpipeline der eigentliche Flaschenhals. Das Seminar richtet sich an Teams, die SINGA nicht nur verstehen, sondern unter Last vernünftig betreiben wollen. Wer verteiltes Training unterschätzt, bezahlt später mit langen Nächten und sehr kurzen Nerven.