Seminar Apache Hadoop Datenverarbeitung mit HDFS, YARN und MapReduce

Dieses Seminar konzentriert sich auf die eigentliche Arbeit mit Apache Hadoop: Daten im HDFS ablegen, verarbeiten, überwachen und die Job-Ausführung über YARN technisch sauber verstehen. Es geht also nicht um Hochglanzarchitektur, sondern um das, was im Datenpfad tatsächlich passiert.

Die Dauer von drei Tagen ist notwendig, weil HDFS, YARN und MapReduce zwar schnell benannt, aber nicht schnell verstanden sind. Erst wenn Datenwege, Job-Lebenszyklus, Partitionierung, Fehlersituationen und Ausführungsdetails gemeinsam betrachtet werden, entsteht ein belastbares Praxisbild.

Im Seminar werden die typischen Schritte vom Dateiupload über die Verteilung im Cluster bis zur Auswertung von Jobs nachvollzogen. Dabei wird deutlich, wie Datenlokalität, Input Splits, Ressourcensteuerung, Counter und Fehlermeldungen zusammenwirken und warum manche Jobs sauber durchlaufen, andere aber teuer, langsam oder instabil werden.

Schwerpunkte:

• Arbeiten mit HDFS, Verzeichnisstrukturen, Dateizugriff und Datenablage
• YARN als Laufzeit- und Ressourcenebene für verteilte Jobs
• Funktionsweise von Map, Shuffle, Reduce, Partitionierung und Combiner
• Job-Start, Monitoring, Counter, Fehlersuche und Laufzeitanalyse
• Datenlokalität, Parallelität und praktische Auswirkungen auf Laufzeiten
• Typische Fehlerbilder in Jobs und saubere Analysewege

Zielgruppe: Das Seminar richtet sich an technische Rollen, die Datenverarbeitung im Cluster nicht nur aus der Theorie kennen wollen.