AI Systems Engineer (m/w/d) - LLM Execution & Infra Optimization

Kennziffer: 2025-0262

• Heidelberg
• Vollzeit
• IT Core Facility

"Forschen für ein Leben ohne Krebs" – das ist unsere Aufgabe am Deutschen Krebsforschungszentrum. Wir erforschen, wie Krebs entsteht, erfassen Krebsrisikofaktoren und suchen nach neuen Strategien, die verhindern, dass Menschen an Krebs erkranken. Wir entwickeln neue Methoden, mit denen Tumore präziser diagnostiziert und Krebspatient:innen erfolgreicher behandelt werden können. Jeder Beitrag zählt – ob in der Forschung, in der Administration oder der Infrastruktur. Das macht unsere tägliche Arbeit so bedeutungsvoll und spannend.

Sie möchten Verantwortung übernehmen, moderne Technologien einführen und bestehende Systeme fit für die Zukunft machen? Dann sind Sie bei uns genau richtig. Wir suchen für unsere Core Facility Informationstechnologie (ITCF) zum nächstmöglichen Zeitpunkt einen

Ihre Aufgaben:

Sie verantworten die technische Infrastruktur für die Bereitstellung von Large Language Models (LLMs) auf unserer High-End-GPU-Hardware. Ihre Arbeit gewährleistet hochperformante und skalierbare Lösungen für alle Anwender:innen generativer KI am DKFZ.

• Infrastruktur-Architektur & Skalierung: Konzeption, Implementierung und Skalierung der LLM-Infrastruktur (Hardware, Container, Orchestrierung)
• Inferenz-Optimierung: Maximierung der Ressourcenauslastung durch geeignete Techniken wie KV-Caching, Quantisierung und Parallelisierung
• Hardware-Integration: Betrieb und Optimierung von LLMs auf NVIDIA-GPU-Plattformen (CUDA), inklusive hardwarenahen Anpassungen
• API-Integration & Management: Design und Betrieb von RESTful APIs und API Gateways (z. B. Kong, KrakenD) für sichere, skalierbare LLM-Schnittstellen
• LLM-Modellauswahl: Evaluation und selektive Bereitstellung von LLMs nach Anforderungen (z. B. Logik/Sprachverständnis, Code-Generierung)
• RAG-Optimierung: Integration von Embedding- und Reranking-Modellen zur Verbesserung der Suchqualität in RAG-Pipelines
• Anwendungs-Integration: Nahtlose Integration in Frontends (Open WebUI) und Datenpipelines mit KI-Entwicklern
• Automatisierung & Monitoring: Sicherstellung eines stabilen Betriebs durch automatisiertes Konfigurationsmanagement (Ansible) und umfassendes Monitoring (Prometheus/Grafana)
• Kooperation in der Helmholtz-Gemeinschaft Deutscher Forschungszentren: Beitrag zur Standardisierung von LLM-Infrastrukturen im Rahmen der Helmholtz-KI-Initiativ
• Ansprechpartner:in für KI-Demands am DKFZ und Mitarbeit im KI-Kompetenzteam des DKFZ

Sie arbeiten an spannenden Projekten mit modernen Technologien in einem Umfeld, in dem Ihre Ideen zählen und Sie Verantwortung übernehmen können. Durch Ihren Beitrag unterstützen Sie unsere Mission "Forschen für ein Leben ohne Krebs" und gestalten die Zukunft unserer IT-Landschaft mit!

Ihr Profil:

• Abgeschlossenes Masterstudium der Informatik oder eines verwandten Fachs
• Praktische Erfahrung mit:
• LLM-Inferenz-Engines (vLLM, Ollama)
• Optimierungstechniken (Quantisierung, KV-Caching, Parallelisierung)
• Aktuellen LLM-Technologien (z. B. Mixture of Experts, Reasoning) sowie Retrieval Augmented Generation (RAG) und MCP (Model Context Protocol)
• Fundierte Kenntnisse in:
• Linux-Systemadministration
• Cloud- und Container-Technologien (OpenStack, Kubernetes, Docker/Podman)
• Teamgeist, Kommunikationsstärke (Deutsch & Englisch) sowie eine proaktive, lösungsorientierte Arbeitsweise
• Ausgeprägte Ausdrucksfähigkeit in Deutsch und Englisch, sowohl mündlich als auch schriftlich (mind. B2)
  

Ihr Profil wird idealerweise abgerundet durch Erfahrung in DevOps-Prozessen, beispielsweise GitLab und CI/CD-Pipelines, automatisiertem Konfigurationsmanagement (Ansible) und Kenntnisse in der Python-Entwicklung.

Unser Angebot:

Sie sind interessiert?