Ähnliche Jobs

Data Engineer - Microsoft Fabric / PySpark / Azure (m/w/d)

Workwise GmbH

Köln + 0 weitere

Data Engineer - Microsoft Fabric / PySpark / Azure (m/w/d)

Köln + 0 weitere

Workwise GmbH

Data Product & AI Engineer (m/w/d)

VNR Group

Bonn + 0 weitere

Data Product & AI Engineer (m/w/d)

Bonn + 0 weitere

VNR Group

Software Engineer AI Solutions (.NET/Web) (m/w/d)

empower GmbH

Köln + 0 weitere

Software Engineer AI Solutions (.NET/Web) (m/w/d)

Köln + 0 weitere

empower GmbH

Data Engineer (m/w/d)

Data Engineer (m/w/d)

Data Engineer (m/w/d)

Data Engineer (m/w/d)

joviva.de (Sani Future GmbH & Co. KG)

Internet, IT

Köln

  • Art der Beschäftigung: Vollzeit
  • 56.000 € – 81.000 € (von XING geschätzt)
  • Vor Ort

Data Engineer (m/w/d)

Über diesen Job

Diese Position passt, wenn ...

Daten sind für dich nicht nur Nullen und Einsen, sondern die Grundlage für gute Entscheidungen?
Du findest Freude daran, aus chaotischen Legacy-Systemen saubere Datenstrukturen zu schaffen?
Du denkst in Pipelines, nicht in Skripten?
Fehlerbehandlung und Retry-Logik sind für dich selbstverständlich, nicht optional?
Du möchtest von erfahrenen Engineers lernen und gleichzeitig eigene Ideen umsetzen?
Dann bist du bei uns richtig!

Die Aufgaben

Als Data Engineer baust du die Datenpipelines auf, die unsere digitale Transformation ermöglichen. Du bist verantwortlich für den sauberen, zuverlässigen und skalierbaren Datenfluss zwischen hunderten ERP-Systemen und unserer modernen Datenarchitektur.

Data Pipeline Engineering: Du designst und implementierst robuste ETL/ELT-Pipelines, die Daten aus mehreren hundert ERP-Systemen zuverlässig extrahieren, transformieren und laden. Dabei setzt du auf moderne Orchestrierungs-Tools und sorgst dafür, dass auch bei komplexen Datenflüssen alles reibungslos läuft. Du baust Pipelines, die nicht nur funktionieren, sondern auch wartbar und erweiterbar sind.

Data Lake & Data Warehouse Architektur: Du baust unsere Data Lake Infrastruktur auf AWS von Grund auf mit auf. Dabei strukturierst du Daten sinnvoll, implementierst Data Governance Konzepte und sorgst dafür, dass Daten für Analytics und Business Intelligence optimal aufbereitet sind. Du verstehst den Unterschied zwischen Raw, Staging und Curated Data und setzt entsprechende Architekturen um.

Greenfield Projekt – Legacy System Integration: Du bist mittendrin in einem spannenden Greenfield-Projekt: Die Integration von mehreren hundert Legacy-ERP-Systemen. Das ist keine Standard-Integration – hier geht es um komplexe Datenstrukturen, unterschiedliche Formate und die Herausforderung, aus heterogenen Quellen ein konsistentes Datenmodell zu schaffen.

Workflow Orchestrierung & Reliability: Du implementierst resiliente Workflows für zeitkritische Datenverarbeitungen. Dabei setzt du auf moderne Orchestrierungs-Patterns und sorgst dafür, dass Pipelines auch bei Fehlern kontrolliert weiterlaufen oder wiederanlaufen. Du baust Monitoring und Alerting, damit Probleme erkannt werden, bevor sie zu echten Ausfällen führen.

Zusammenarbeit & Weiterentwicklung: Du arbeitest eng mit unserem Staff Engineer, den Product Ownern und dem ~10-köpfigen Dev-Team zusammen. Dabei lernst du von erfahrenen Kolleg:innen und bringst gleichzeitig deine eigenen Ideen ein. Du wächst mit den Herausforderungen und entwickelst dich kontinuierlich weiter.
Datenqualität & Dokumentation: Du implementierst Data Quality Checks und sorgst dafür, dass schlechte Daten gar nicht erst in unsere Systeme kommen. Du dokumentierst Datenflüsse und Transformationslogik, damit auch andere verstehen, was mit den Daten passiert.

Das Profil

Must-haves:
  • Mindestens 3 Jahre Erfahrung als Data Engineer oder in vergleichbaren Rollen
  • Praktische Erfahrung mit ETL/ELT-Pipelines und Data Lakes
  • Gute Python-Kenntnisse für Datenverarbeitung und Pipeline-Entwicklung
  • Erfahrung mit Cloud-Plattformen, idealerweise AWS (S3, Glue, Athena, RDS, etc.)
  • Grundkenntnisse in Infrastructure as Code (Terraform oder CDK)
  • Verständnis für Datenmodellierung und solide SQL-Kenntnisse
  • Erfahrung mit Git und CI/CD
Nice-to-haves:
  • Erfahrung mit Temporal oder ähnlichen Workflow-Orchestrierungs-Frameworks (Airflow, Prefect, Dagster)
  • Kenntnisse in der Integration von Legacy-ERP-Systemen
  • Erfahrung mit Streaming-Technologien (Kafka, Kinesis)
  • Container-Kenntnisse (Docker, ECS)
  • Monitoring mit Grafana
  • Interesse an Healthcare oder E-Commerce
  • AWS-Zertifizierungen

Warum wir?

Was wir bieten:
  • Hybrid-Modell: 2 Tage pro Woche im Büro in Köln, 3 Tage flexibles Arbeiten von wo du möchtest
  • Greenfield-Projekt: Du baust unsere moderne Datenarchitektur von Grund auf mit – kein Legacy-Code, den du erstmal verstehen musst
  • Echte Herausforderung: Integration von mehreren hundert ERP-Systemen – komplex, aber auch extrem lehrreich
  • Moderner Tech-Stack: AWS, Python, Terraform, moderne Data Engineering Tools
  • Mentoring & Wachstum: Du arbeitest mit erfahrenen Engineers zusammen und entwickelst dich weiter
  • Gestaltungsspielraum: Du bringst deine Ideen ein und prägst unsere Dateninfrastruktur mit
  • Wachsendes Team: Du wirst Teil eines motivierten ~10-köpfigen Entwicklerteams
  • Impact: Deine Pipelines sorgen dafür, dass Menschen einfacher an wichtige Hilfsmittel kommen

Gehalts-Prognose

Ähnliche Jobs

Data Engineer (all Genders) mit Schwerpunkt Microsoft Fabric

rheindata GmbH

Köln + 0 weitere

Data Engineer (all Genders) mit Schwerpunkt Microsoft Fabric

Köln + 0 weitere

rheindata GmbH

Data Platform Engineer in Köln (*)

Stolzberger GmbH

Köln + 0 weitere

Data Platform Engineer in Köln (*)

Köln + 0 weitere

Stolzberger GmbH

Senior Data Engineer Document Operations German fluent (m/w/d)

Zurich Insurance Company Ltd.

Köln + 0 weitere

Senior Data Engineer Document Operations German fluent (m/w/d)

Köln + 0 weitere

Zurich Insurance Company Ltd.

Snowflake Data Engineer (all genders)

adesso SE

Köln + 0 weitere

Snowflake Data Engineer (all genders)

Köln + 0 weitere

adesso SE

Data Engineer (m/w/d) - SCM

DEUTZ AG

Köln + 0 weitere

Data Engineer (m/w/d) - SCM

Köln + 0 weitere

DEUTZ AG

Data Engineer – Schwerpunkt Programmierung & Datenpipelines*

Haeger Consulting

Bonn + 0 weitere

Data Engineer – Schwerpunkt Programmierung & Datenpipelines*

Bonn + 0 weitere

Haeger Consulting

Data Engineer – Schwerpunkt Infrastruktur & Plattform*

Haeger Consulting

Bonn + 0 weitere

Data Engineer – Schwerpunkt Infrastruktur & Plattform*

Bonn + 0 weitere

Haeger Consulting

Data Engineering Expert (m/f/d)

MSIG Europe SE

Köln + 0 weitere

Data Engineering Expert (m/f/d)

Köln + 0 weitere

MSIG Europe SE

Data Engineer Aktuariat & Prozessautomatisierung (m/w/d)

PS Direkt GmbH & Co. KG (PV)

Köln + 0 weitere

Data Engineer Aktuariat & Prozessautomatisierung (m/w/d)

Köln + 0 weitere

PS Direkt GmbH & Co. KG (PV)