Seminar ApeiroRA – KI-Services mit Private LLM und Chat UI

Seminarbeschreibung

Ein privater KI-Dienst benötigt mehr als einen gestarteten Modellserver. Dienstbereitstellung, Mandantenzuordnung, Zugangsdaten, verfügbare Rechenleistung und Betriebsbeobachtung müssen zusammenpassen. Dieses Seminar bearbeitet diese Aufgaben anhand zweier voneinander unabhängiger Managed Services: eines Private-LLM-Dienstes und einer Chat-Oberfläche.

Die Übungen wechseln zwischen Anbieter- und Nutzersicht. Zunächst werden vorbereitete Provider in einer Platform-Mesh-Umgebung untersucht und eingebunden. Anschließend wird ein Consumer-Workspace eingerichtet, an die benötigten APIs gebunden und mit einer Modellinstanz sowie einer darauf zugreifenden Chat-Instanz ausgestattet.

Die Dienstkopplung erfolgt über den im Labor vorgesehenen Endpunkt- und Credential-Mechanismus. Ein kleines freigegebenes Modell erlaubt die Demonstration ohne zwingende GPU-Ausstattung. Messungen und Betriebsprüfungen zeigen, welche zusätzlichen Anforderungen für größere Modelle, weitere Mandanten und produktive Verfügbarkeitsziele entstehen.

Seminarinhalte

1. Dienstmodell und Laborkomponenten

• Modellserver, Provider-Controller, Sync Agent und Chat-Oberfläche den jeweiligen Steuerungs- und Ausführungsebenen zuordnen.
• Modellgröße, Speicherbedarf, Downloadvolumen und Rechenbedarf für einen begrenzten Laborfall abschätzen.
• Freigegebene Modellartefakte und Testdaten auswählen sowie die erforderlichen Netzwerkverbindungen dokumentieren.

2. Provider und Consumer anbinden

• Die beiden Provider mit ihren APIExports und den zugehörigen Workload-Komponenten untersuchen.
• Einen Consumer-Workspace anlegen, die Service-APIs binden und den Status der API-Anbindung kontrollieren.
• Rollen, Berechtigungen und den Zugriff des Providers auf Consumer-Ressourcen nachvollziehen.

3. LLM- und Chat-Instanz bereitstellen

• Eine LLMInstance mit den Parametern des vorbereiteten Beispiels anfordern und die tatsächliche Betriebsbereitschaft prüfen.
• Die ChatUIInstance über die vorgesehenen Zugangsdaten mit dem Modelldienst verbinden.
• Funktion, Endpunkterreichbarkeit und Trennung zweier Testkontexte über API und verfügbare Weboberfläche kontrollieren.

4. Betrieb, Grenzen und Fehleranalyse

• Bereitstellungsfehler durch Modellzugriff, Ressourcenmangel oder ungültige Credentials voneinander unterscheiden.
• Antwortzeiten und Ressourcennutzung mit einer kleinen, reproduzierbaren Testlast beobachten.
• Rotation von Zugangsdaten, kontrollierte Stilllegung und Bereinigung persistenter Daten in den Dienstbetrieb einordnen.

Praktische Übungen

• Zwei Provider anbinden, einen Consumer-Workspace konfigurieren und die zugehörigen API-Bindings prüfen.
• Eine Modellinstanz und eine Chat-Oberfläche bereitstellen und ihre Kopplung über einen definierten Credential-Übergang testen.
• Ein absichtlich falsches Secret und einen Ressourcenengpass analysieren; anschließend die Testinstanzen geordnet stilllegen.

Arbeitsumgebung

Kundenseitig bereitgestellte, isolierte Platform-Mesh-Testumgebung mit Container-Laufzeit, Helm und ausreichend Kapazität für das vereinbarte Modell. Modellartefakte werden vorab bereitgestellt. GPU-Übungen sind nur bei ausdrücklich dafür ausgelegtem Labor vorgesehen.