Für ein langfristiges Projekt wird ein erfahrener Spezialist mit tiefgehender Expertise in Dagster, Python und Data Engineering gesucht. Die Rolle kombiniert technische Beratung mit aktiver Hands-on-Entwicklung und unterstützt den Aufbau sowie die Weiterentwicklung komplexer Datenstrecken.

Aufgaben:

Beratung zur Strukturierung und Implementierung von Datenstrecken mit der Python-basierten Open-Source-Lösung Dagster

Konzeption und Umsetzung von Dagster-Funktionalitäten wie Assets, Resources, Sensors und Partitions

Aktive Unterstützung der Entwicklung durch die Erstellung und Weiterentwicklung von Programmcode

Beratung und Umsetzung von Dagster-Integrationen, insbesondere:

dagster-dbt

Embedded ELT mit dlt

Entwicklung und Dokumentation kundenspezifischer Dagster-Komponenten

Automatisierung des Deployments von Dagster-Code auf Kubernetes-Clustern

Mitwirkung beim Aufbau und der Weiterentwicklung von CI/CD-Prozessen

Durchführung von Code Reviews

Erstellung technischer Dokumentationen

Teilnahme an agilen Entwicklerterminen wie Planning, Daily/Scrum und Retrospektiven

Zwingende Anforderungen:

Fundierte praktische Erfahrung mit Dagster und dem Aufbau komplexer Dagster-Projekte

Erfahrung mit dagster-dbt sowie Embedded ELT unter Verwendung von dlt

Senior-Level-Expertise in Python mit mehr als 5 Jahren relevanter Erfahrung

Mehrjährige Senior-Erfahrung im Data Engineering

Tiefgehende Erfahrung in der Konzeption und Umsetzung komplexer Datenstrecken

Nachweisbare Erfahrung mit komplexen dbt-core-Projekten, idealerweise anhand von mindestens 3 Referenzen

Erfahrung mit Dokumentation und strukturierter technischer Beratung

Wünschenswerte Kenntnisse:

Projekterfahrung mit AWS

Erfahrung mit containerisierten Open-Source-Orchestratoren wie Dagster oder Apache Airflow

Erfahrung im Aufbau und Betrieb von Datenstrecken durch Entwicklungsteams

Kenntnisse agiler Projektmanagement- und Vorgehensmodelle

Idealerweise Zertifizierungen bzw. nachweisbare Erfahrung in agilen Methoden