Seminar FinOps für Private AI – Kapazität, Kosten und Energieeffizienz

Eigene AI-Infrastruktur macht Kosten sichtbar, aber nicht automatisch steuerbar. Ohne saubere Zuordnung von Reservierung, Nutzung, Leerlauf, Speicher und Plattformgemeinkosten entstehen falsche Investitions- und Architekturentscheidungen.

Das Seminar verbindet technische Messgrößen mit betriebswirtschaftlicher Steuerung. Daraus entstehen Kapazitätsklassen, Verrechnungsmodelle, Budgets, Effizienzregeln und eine nachvollziehbare Entscheidungsgrundlage für Ausbau oder Konsolidierung.

Einordnung und Nutzen

Zwei Tage reichen für Modellbildung, Messkonzept und Optimierungsübungen aus. Clusterinstallation und tiefe Inferenzentwicklung sind bewusst nicht Bestandteil dieses Seminars.

Zielgruppe

• Plattformleitung, FinOps und IT-Controlling
• Kubernetes-, MLOps- und Rechenzentrumsbetrieb
• Enterprise-Architektur und Beschaffung

Voraussetzungen

• Grundverständnis von Kubernetes-Ressourcen
• Basiswissen zu AI-Inferenz und Beschleunigern
• Kenntnisse interner Kosten- oder Budgetstrukturen sind hilfreich

Lernziele

• Vollkosten und Grenzkosten von AI-Diensten bestimmen
• Nutzung verursachungsgerecht zuordnen
• Kapazität anhand technischer und fachlicher Kennzahlen planen
• Optimierungsmaßnahmen nach Wirkung und Risiko priorisieren

Seminarinhalte

Kostenmodell einer privaten AI-Plattform

• Investition, Abschreibung, Betrieb und Plattformgemeinkosten
• CPU, GPU, RAM, Storage, Netzwerk und Personalaufwand
• Reservierte, belegte und tatsächlich genutzte Kapazität

Messgrößen und Zuordnung

• GPU-Stunden, Tokens, Anfragen, Modellbelegung und Datenspeicher
• Labels, Namespaces, Mandanten und Kostenstellen
• Gemeinkostenschlüssel für Plattform- und Sicherheitsdienste

Kapazitäts- und Nachfrageplanung

• Lastprofile, Wachstum, Redundanz und Wartungsreserven
• Sizing für Inferenz, RAG, Evaluation und Training
• Make-or-buy- und Ausbauentscheidungen ohne Scheingenauigkeit

Technische Kostenkontrollen

• Quotas, LimitRanges, Prioritäten und Schedulingklassen
• Autoscaling, Scale-to-zero und zeitgesteuerte Kapazität
• Admission-Regeln gegen überdimensionierte oder unzulässige Workloads

Inferenz- und Modelleffizienz

• Quantisierung, Batching, Caching und passende Modellgrößen
• Durchsatz, Time-to-first-token und Kosten je Ergebniseinheit
• Qualitätsgrenzen und kontrollierte Optimierung

Reporting und Betriebssteuerung

• Budgets, Forecasts, Showback und Chargeback
• Energie- und Auslastungskennzahlen
• Regelkreis aus Messung, Review, Maßnahme und Wirksamkeitskontrolle

Praktische Übungen

• Aufbau eines Vollkostenmodells für einen Beispielcluster
• Zuordnung von Nutzungsdaten zu Mandanten und Diensten
• Sizing eines Inferenzdienstes mit Last- und Redundanzannahmen
• Priorisierung technischer Sparmaßnahmen anhand von Wirkung und Betriebsrisiko

Methodik

Rechenbeispiele, Messdaten und Kubernetes-Konfigurationen werden zu einem gemeinsamen Steuerungsmodell verbunden. Die Übungen bleiben herstellerneutral und auf eigene Infrastruktur übertragbar.