Für den Aufbau einer großskaligen, hybriden KI-Plattform im öffentlichen Sektor wird ein erfahrener DevOps Engineer (Freelancer) gesucht.
Die Plattform bildet die Basis für LLM-basiertes Arbeiten , wird On-Premise betrieben , perspektivisch in Richtung Cloud / Sovereign Cloud Deutschland erweitert und beinhaltet ein größeres GPU-Cluster .

Der Schwerpunkt liegt auf DevOps-Automatisierung, Plattformbetrieb und Infrastruktur-as-Code , alles rund um Kubernetes, Docker, Terraform sowie sichere Integrationsprozesse im Bereich ML/LLM .

Aufgaben

• Aufbau, Weiterentwicklung und Betrieb einer hybriden KI-/LLM-Plattform im öffentlichen Sektor

• Implementierung und Pflege von CI/CD-Pipelines (z. B. Bitbucket Pipelines)

• Automatisierung mittels Terraform , Docker , Kubernetes

• Einrichtung & Administration von Kubernetes- und GPU-Clustern (on-prem & perspektivisch cloud)

• Betrieb und Integration von LLM-Workloads in eine skalierbare Plattformarchitektur

• Nutzung und Administration von Tools wie Rancher , Nexus , Docker

• Unterstützung beim Aufbau sicherer Deployment-Prozesse nach öffentlichen Standards

• Zusammenarbeit mit ML/AI-Teams für Deployment von Modellen und Pipelines

• Monitoring, Logging & Observability im Plattformbetrieb

• Mitarbeit in einem agilen Setup (Scrum), Teilnahme an Sprint Reviews vor Ort

Muss-Anforderungen

• Sehr gute Erfahrung im DevOps-Umfeld

• Fundiertes Know-how in:

• Kubernetes (Clusterbetrieb, Administrierung)

• Docker (Container-Building & Management)

• Terraform (IaC)

• CI/CD-Pipelines (Bitbucket oder vergleichbar)

• Rancher , Nexus

Nice to Have

• Erfahrung mit Sovereign Cloud Deutschland / EU-Cloud-Anforderungen

• Kenntnisse in Python für Automatisierung / MLOps

• Arbeit mit GPU-Clustern

• Sicherheitsanforderungen im Behördenumfeld

Rahmenbedingungen

• Startdatum: 01.12.

• Dauer: 6 Monate mit klarer Option auf Verlängerung

• Einsatzort: Remote, ~1× alle 3 Wochen vor Ort im süddeutschen Raum

• Projektsprache: Deutsch