Seminar 8ra: Datenservices und KI am Edge

Datenintensive Anwendungen profitieren häufig von einer Aufteilung zwischen lokaler Verarbeitung und zentralen Diensten. Das Seminar behandelt diese Aufteilung im Cloud-Edge-Continuum: Welche Daten werden vor Ort gefiltert, welche Informationen werden übertragen und wo wird eine KI-Inferenz sinnvoll ausgeführt?

Eine vorbereitete Datenquelle und ein vorhandenes kleines Modell bilden den Kern der Praxisübungen. Der Fokus liegt auf Integration und Betrieb, einschließlich Datenqualität, Zugriffsrechten, Versionierung und beobachtbarer Verarbeitung. Modelltraining, eine vollständige Datenraumimplementierung und der Aufbau einer großen KI-Plattform gehören nicht zum vereinbarten Übungsumfang.

Neben dem Normalbetrieb werden verspätete Daten, doppelte Nachrichten und eine unterbrochene Verbindung untersucht. So werden die Grenzen verteilter Verarbeitung sichtbar. Entscheidungen zur Platzierung werden mit Messwerten und nachvollziehbaren Qualitätskriterien begründet; lokale Verarbeitung wird weder pauschal als schneller noch automatisch als sicherer bewertet.

Lernziele

• Datenverarbeitungsschritte anhand von Latenz, Datenmenge und Schutzbedarf auf Standorte verteilen.
• Eine kleine Datenpipeline mit definierten Formaten und nachvollziehbarer Fehlerbehandlung integrieren.
• Ein vorhandenes Inferenzmodell versioniert bereitstellen und seine Betriebsanforderungen messen.
• Auswirkungen von Datenfehlern und Verbindungsunterbrechungen auf die Verarbeitung beurteilen.

Seminarinhalte

Verarbeitungsmodell und Platzierung

• Datenquellen, Verarbeitungsschritte, Verbraucher und Verantwortliche in einer Ablaufkette erfassen.
• Data Layer und AI Layer mit Plattform- und Orchestrierungsfunktionen verknüpfen.
• Übertragungsmenge, Datenvertraulichkeit, Rechenbedarf und Antwortzeit als Entscheidungskriterien anwenden.
• Lokale Vorverarbeitung, zentrale Aggregation und verteilte Inferenz im Fallbeispiel vergleichen.

Datenaufnahme und Qualität

• Nachrichtenformat, Zeitstempel, Einheiten und Identifikatoren eindeutig definieren.
• Fehlende, verspätete, doppelte und unplausible Werte nachvollziehbar behandeln.
• Lokale Pufferung, Rückstau und kontrollierte Wiederaufnahme einer Datenübertragung planen.
• API- und ereignisbasierte Verarbeitung am vorbereiteten Beispiel untersuchen.

Datenhaltung und kontrollierte Bereitstellung

• Rohdaten, abgeleitete Daten und Betriebsdaten mit geeigneter Aufbewahrung unterscheiden.
• Datenzugriffe, technische Nutzungsrechte und erforderliche Nachweise definieren.
• Metadaten, Herkunft und Schemaänderungen im Lebenszyklus einer Verarbeitungskette berücksichtigen.
• Datenservices als Bausteine möglicher Datenräume einordnen und deren zusätzlichen Governancebedarf erkennen.

KI-Inferenz im Cloud-Edge-Betrieb

• Vorbereitetes Modell, Laufzeit, Eingabeformat und benötigte Ressourcen aufeinander abstimmen.
• Modell und Verarbeitungscode nachvollziehbar versionieren und als freigegebenen Stand bereitstellen.
• Inferenzdauer, Ressourcenverbrauch und fachliche Ausgabe anhand geeigneter Testdaten bewerten.
• Fehlerhafte Eingaben, nicht verfügbaren Inferenzdienst und Wechsel auf einen vorherigen Modellstand behandeln.

Durchgängige Daten- und KI-Pipeline

• Datenquelle, lokale Vorverarbeitung, Inferenz und zentrale Ergebnisablage verbinden.
• Zugriffe begrenzen und Verarbeitungsschritte mit korrelierbaren Ereignissen nachvollziehbar machen.
• Eine Verbindungsunterbrechung simulieren und die vereinbarte Puffer- beziehungsweise Rückfallstrategie prüfen.
• Erneute Verarbeitung und mögliche Duplikate nach der Wiederverbindung fachlich kontrollieren.

Qualitäts- und Betriebsprüfung

• Datenvollständigkeit, Verarbeitungslatenz und Ressourcenverbrauch vor und nach einer Änderung vergleichen.
• Modellqualität von Verfügbarkeit und technischer Laufzeit des Inferenzdienstes unterscheiden.
• Versionierte Rücknahme eines Modell- oder Anwendungsschritts ausführen und die Ausgaben prüfen.
• Grenzen des Beispiels sowie offene Anforderungen einer produktiven Anwendung dokumentieren.

Praxisübungen

1. Eine vorbereitete synthetische Datenquelle starten und das vereinbarte Datenschema prüfen.
2. Ungültige und doppelte Nachrichten erkennen und ihre Behandlung nachvollziehbar protokollieren.
3. Das vorhandene Modell als Inferenzdienst bereitstellen und definierte Testfälle ausführen.
4. Vorverarbeitung, Inferenz und Ergebnisablage zu einer kleinen Pipeline verbinden.
5. Die Verbindung zum zentralen Dienst unterbrechen und das Verhalten lokaler Puffer und Rückfallregeln prüfen.
6. Nach Wiederverbindung Datenvollständigkeit kontrollieren und eine Modellversion gezielt zurücknehmen.

Schulungsumgebung

Der Kunde stellt vorbereitete Container- oder Kubernetes-Umgebungen für Edge und zentrale Dienste, synthetische Übungsdaten, einen kleinen abgestimmten Inferenzbaustein sowie Testzugänge bereit. Die Standardübungen sind für CPU-Betrieb vorgesehen; besondere Beschleuniger werden nur bei zuvor abgestimmtem Anwendungsfall benötigt.