Data Engineer – Python / Airflow / Azure Databricks (m/w/d)
Data Engineer – Python / Airflow / Azure Databricks (m/w/d)
Data Engineer – Python / Airflow / Azure Databricks (m/w/d)
Data Engineer – Python / Airflow / Azure Databricks (m/w/d)
PROSTAFF Schweiz GmbH
Informationsdienste
Basel
- Art der Beschäftigung: Vollzeit
- 111.000 CHF – 139.500 CHF (von XING geschätzt)
- Vor Ort
- Zu den Ersten gehören
Data Engineer – Python / Airflow / Azure Databricks (m/w/d)
Über diesen Job
Für ein anspruchsvolles Data-Engineering-Projekt bei einem etablierten Unternehmen in der Schweiz suchen wir einen erfahrenen Data Engineer. Im Fokus stehen die Weiterentwicklung einer bestehenden On-Premise-Datenplattform sowie die laufende Transformation in eine moderne Azure-Databricks- und Lakehouse-Architektur.
-
Entwicklung und Weiterentwicklung von Data Products
-
Aufbau und Pflege von Ingestion- und Transformationspipelines
-
Sicherstellung von Datenqualität und Performance
-
Entwicklung und Verwaltung von Apache-Airflow-DAGs
-
Mitarbeit bei Architekturentscheidungen rund um die Data Platform
-
Unterstützung der Migration in Richtung Azure Databricks
-
Zusammenarbeit mit Data Architect, DevOps Engineer und Product Owner
-
Unterstützung interner Nutzer bei Data-, Plattform- und Python-Themen
-
Mehrjährige Erfahrung als Data Engineer
-
Sehr gute Kenntnisse in Python, insbesondere pandas, polars und Poetry
-
Fundierte Erfahrung mit Apache Airflow
-
Sehr gute SQL- und PostgreSQL-Kenntnisse
-
Erfahrung mit Azure Databricks
-
Kenntnisse in Docker, Kubernetes oder OpenShift
-
Erfahrung mit Azure DevOps / CI/CD
-
Verständnis von Data Mesh, Data Contracts und Lakehouse-Architekturen
-
Idealerweise Erfahrung mit JupyterHub, Acryl DataHub und MinIO S3
-
Selbständige und proaktive Arbeitsweise mit hoher Kommunikationsfähigkeit
