Intro

Modernes Unternehmen
Data Engineering

Firmenprofil

Projektziel:
Ziel des Projekts ist die Entwicklung eines Monitoring-Tools, das eine Vielzahl von KPIs berechnet und intuitive Visualisierungen für interne Analysen im Zusammenhang mit der Kapazität und Leistung von Regelenergieanbietern (Balancing Service Providers, BSP) bereitstellt.

Der Anwendungsbereich wird zukünftig auf das Monitoring weiterer Systemdienstleistungen ausgeweitet.
Ziel des Einsatzes ist die Entwicklung eines Monitoring-Tools, das eine breite Palette von KPIs berechnet und intuitive Visualisierungen für interne Analysen im Kontext der Kapazität und Leistung von Regelenergieanbietern (Balancing Service Providers, BSP) bereitstellt.
Der Projektumfang wird perspektivisch auf das Monitoring weiterer Systemdienstleistungen (Ancillary Services) ausgeweitet.

Aufgabengebiet

Aufgaben:

* Design, Aufbau und Optimierung von Databricks-Notebooks und strukturierten Workflows unter Berücksichtigung klarer, modularer und wiederverwendbarer Code-Praktiken zur effizienten und wartbaren Datenverarbeitung.
* Verwaltung von Databricks-Tabellen, inklusive Optimierung der Speicherebenen sowie Implementierung effektiver Strategien für Partitionierung, Indizierung und Datenkomprimierung - mit Fokus auf Performance, Kosteneffizienz und Skalierbarkeit.
* Bereitstellung von Datenpipelines und analytischen Lösungen unter Anwendung bewährter Methoden in Databricks, inklusive Versionskontrolle, Continuous Integration, Testing und Monitoring.
* Erfahrung in der Arbeit mit Data Products und deren Lifecycle.
* Design und Entwicklung von Datenpipelines und Automatisierungsskripten mit Python, inklusive Code Reviews in enger Abstimmung mit dem Entwicklungsteam.
* Beitrag zur Entwicklung sicherer und qualitativ hochwertiger Codes
* Koordination mit verschiedenen Stakeholdern, um die Entwicklung an Governance-, Sicherheits- und Compliance-Anforderungen auszurichten.
* Teilnahme an technischen Refinement-Sessions, um technische Anforderungen zu hinterfragen und weiterzuentwickeln.
* Dokumentation der technischen Aspekte zur Sicherstellung des Verständnisses und der Nachvollziehbarkeit innerhalb des Projekts

Anforderungsprofil

Skills:

Erforderliche Fachkenntnisse (Must-haves):

* Mindestens 4 Jahre Berufserfahrung als Data Engineer mit Fokus auf Python
* Mindestens 3 Jahre Erfahrung mit Data Products wie Databricks und Data Lakes
* Erfahrung in der Arbeit mit Output Ports, insbesondere in folgenden Bereichen:
- Definition von Performance SLAs
- Caching-Strategien
- REST- und nachrichtenbasierten Output Ports
* Sicherer Umgang mit Git, Versionsverwaltung, Release-Management sowie CI/CD-Pipelines

Vergütungspaket

Wünschenswerte Zusatzqualifikationen (Nice-to-haves):

* Branchenkenntnisse in der Energiewirtschaft
* Kenntnisse in folgenden Technologien:
- Apache Spark, Airflow, Kafka
- Azure Data Engineering Stack
* Erfahrung mit dem .NET Stack und Blazor (optional)
* Verständnis von Clean Architecture, Data Mesh und moderner Datenstrategie

Kontakt

Franziska Schubert

Referenznummer

JN-072025-6784404

Beraterkontakt

+49211177224022