Seminar R – Machine Learning mit tidymodels

Seminarbeschreibung

Ein Vorhersagemodell ist nur so verlässlich wie seine Bewertung. Das Seminar führt durch den vollständigen Arbeitsablauf für überwachte Lernverfahren mit tabellarischen Daten. Modelle werden anhand fachlich geeigneter Kennzahlen verglichen. Datenaufbereitung und Merkmalsbildung erfolgen innerhalb des Trainings- und Resamplingprozesses, damit Informationen aus späteren Prüfbeständen nicht unbeabsichtigt in das Modell gelangen.

Zwei typische Aufgaben, Regression und Klassifikation, bilden den praktischen Rahmen. Einfache Vergleichsmodelle werden komplexeren Verfahren gegenübergestellt. Der Schwerpunkt liegt auf nachvollziehbaren Entscheidungen, reproduzierbaren Experimenten und einer kontrollierten finalen Prüfung. Deep Learning, große Sprachmodelle und der produktive Betrieb einer vollständigen Modellplattform sind nicht Gegenstand dieses Seminars.

Zielgruppe

Datenanalysten, Data Scientists und R-Entwickler, die Vorhersagemodelle systematisch entwickeln und bewerten möchten.

Voraussetzungen

Sicheres R, dplyr und ggplot2; Grundlagen der linearen und logistischen Regression sowie Verständnis von Stichprobenunsicherheit und Fehlermaßen. Kenntnisse entsprechend den Seminaren Datenaufbereitung und Regression. Einfache Funktionen sollten selbstständig geschrieben werden können.

Lernziele

• Trainings-, Validierungs- und Testdaten gemäß der Datenstruktur trennen.
• Vorverarbeitung und Modelle in tidymodels-Workflows zusammenführen.
• Modelle anhand von Resampling und geeigneten Metriken vergleichen und abstimmen.
• Einen eingefrorenen Workflow auf unberührten Testdaten beurteilen und reproduzierbar bereitstellen.

Inhaltsübersicht

1. Problemdefinition und Vergleichsbasis
2. Datenaufteilung und Resampling
3. Feature Engineering mit recipes
4. Modelle und Workflows
5. Bewertung und Klassenungleichgewicht
6. Hyperparameter-Tuning
7. Finale Prüfung und Interpretation
8. Reproduzierbarer Modelllauf

Seminarinhalte

Problemdefinition und Vergleichsbasis

Die Modellaufgabe wird in eine überprüfbare Zielsetzung übersetzt.

• Regression und Klassifikation sowie Kosten unterschiedlicher Fehler unterscheiden.
• Einfache Baselines definieren und fachlich relevante Metriken auswählen.
• Merkmale ausschließen, die zum Vorhersagezeitpunkt nicht verfügbar wären.

Datenaufteilung und Resampling

Die Prüfung bildet die spätere Anwendung möglichst realistisch ab.

• Trainings- und Testdaten mit rsample trennen und Stratifizierung einordnen.
• Kreuzvalidierung sowie gruppenbezogene und zeitliche Abhängigkeiten berücksichtigen.
• Datenleckagen durch Vorverarbeitung, Duplikate und verbundene Beobachtungen erkennen.

Feature Engineering mit recipes

Vorverarbeitung wird als Bestandteil des Modelltrainings formuliert.

• Imputation, Kodierung und Skalierung in einer Recipe kombinieren.
• Seltene oder neue Kategorien sowie unvollständige Eingaben kontrolliert behandeln.
• Gelernte Transformationen ausschließlich aus den jeweiligen Trainingsdaten ableiten.

Modelle und Workflows

Einheitliche Schnittstellen erleichtern nachvollziehbare Experimente.

• Mit parsnip Modelle, Modi und Engines festlegen.
• Lineare Modelle, regularisierte Modelle und baumbasierte Verfahren vergleichen.
• Recipe und Modell mit workflows zu einem reproduzierbaren Objekt verbinden.

Bewertung und Klassenungleichgewicht

Metriken werden passend zur Entscheidungssituation interpretiert.

• RMSE und MAE sowie Sensitivität, Spezifität und Precision einordnen.
• ROC- und Precision-Recall-Kurven im Kontext der Klassenverteilung bewerten.
• Resampling oder Gewichtung auf Trainingsbestände begrenzen; Schwellenwerte nachvollziehbar wählen.

Hyperparameter-Tuning

Die Modellauswahl erhält ein kontrolliertes Rechenbudget.

• Suchräume festlegen und ein überschaubares Raster mit tune auswerten.
• Streuung der Ergebnisse berücksichtigen und unnötig komplexe Modelle vermeiden.
• Zufallsstarts, Laufzeiten und Ergebnisse verschiedener Versuche protokollieren.

Finale Prüfung und Interpretation

Die endgültige Bewertung erfolgt nach Abschluss der Auswahl.

• Das ausgewählte Modell auf dem vorgesehenen Trainingsbestand finalisieren.
• Unberührte Testdaten einmalig zur abschließenden Einschätzung verwenden.
• Fehlersituationen, Kalibrierung und Merkmalseinfluss untersuchen; Grenzen kausaler Aussagen benennen.

Reproduzierbarer Modelllauf

Ein Vorhersageablauf wird für die kontrollierte Wiederverwendung vorbereitet.

• Workflow, Paketstand und erwartetes Eingabeschema sichern.
• Vorhersagen für neue Daten mit Prüfungen von Datentypen und Kategorien erzeugen.
• Drift, erneute Bewertung und notwendige Aktualisierungen als Betriebsaufgaben einordnen.

Praxisprojekt

1. Eine Klassifikationsaufgabe mit einer einfachen Vergleichslösung festlegen.
2. Testdaten reservieren und Resampling auf dem Trainingsbestand aufsetzen.
3. Vorverarbeitung und zwei Modellfamilien als Workflows definieren.
4. Ein begrenztes Tuning durchführen und das Auswahlkriterium dokumentieren.
5. Den finalen Workflow auf Testdaten prüfen und Vorhersagen für einen neuen Datenbestand erstellen.