LLM Platform Engineer / MLOps Engineer (m/w/d) – On-Premise LLM-Deployment auf Kubernetes

Project overview

Für unseren Kunden, einen Softwarehersteller aus dem sicherheitskritischen IT-Umfeld, suchen wir einen erfahrenen LLM Platform Engineer, der eine bestehende On-Premise-KI-Plattform aus dem Evaluationsbetrieb in den Produktivbetrieb überführt.

Projektrahmen:

• Start: schnellstmöglich
• Laufzeit: 6 Monate, Verlängerung möglich
• Auslastung: 40 Std./Woche
• Einsatzort: remote mit gelegentlichen Terminen vor Ort
• Projektsprache: Deutsch

Responsibilities

• Automatisiertes Deployment von LLM-Inference-Services (vLLM / SGLang) per Helm auf einer bestehenden Kubernetes-Umgebung mit GPU-Scheduling
• Bereitstellung eines internen Chat-Assistenten (Open WebUI, LiteLLM als Modell-Router) für die Mitarbeitenden
• Anbindung interner Wissensquellen (Dokumente, Confluence, Jira) per RAG inkl. Abbildung des bestehenden Berechtigungskonzepts
• Deployment von Open-Weight- und Mistral-Modellen, Optimierung von GPU-Auslastung und Performance
• Bewertung des bestehenden Stacks und Empfehlung möglicher Alternativen (z. B. Onyx)
• Überführung in einen stabilen Produktivbetrieb inkl. Monitoring und Dokumentation

Requirements

• Nachweisbare Erfahrung mit selbst gehosteten LLMs im Produktivbetrieb auf eigener GPU-Infrastruktur (reine Nutzung von Cloud-APIs wie Azure OpenAI ist nicht ausreichend)
• Fundierte Praxis mit vLLM und/oder SGLang
• Kubernetes und Helm in der Praxis, idealerweise mit GPU-Workloads
• Erfahrung mit RAG-Architekturen auf Unternehmensdaten inkl. Berechtigungskonzepten
• Sehr gute Deutschkenntnisse

Nice to have

Wenn das Projekt auf Ihr Profil passt, freue ich mich über Ihre Zusendung eines CVs, gewünschtem Stundensatz und schnellstmöglicher Verfügbarkeit.

• Open WebUI, LiteLLM, Onyx
• Self-Deployment von Mistral-Modellen
• Vektordatenbanken (z. B. Qdrant, pgvector, Milvus)
• Erfahrung in sicherheitskritischen oder regulierten Umfeldern; Bereitschaft zur Sicherheitsüberprüfung ist ein Plus