Senior Data Engineer (aktive Sicherheitsüberprüfung erforderlich)
Standort : Vereinigtes Königreich (Remote, gelegentliche Reisen nach London) | Festanstellung: 60–85 £

Rollenübersicht
Praxisorientierter Data Engineer, der mit Kunden aus dem öffentlichen Sektor zusammenarbeitet, um Produktionsdatenplattformen zu konzipieren, aufzubauen und zu betreiben. Technische Architektur in Cloud-Umgebungen leiten, Entwicklungsteams betreuen und Analyse-/KI-Funktionen in agile, kundenorientierte Projekte integrieren.

Key Responsibilities

• Komplexe geschäftliche Herausforderungen in skalierbare Datenpipelines, Modelle und Analyselösungen übersetzen

• Entwicklung und Betrieb von produktionsreifen Pipelines mit SQL/Python/Spark über Lakehouses und ereignisgesteuerte Systeme hinweg.

• Semantische Modelle und Datenvisualisierungen für Business-Intelligence-Plattformen entwerfen

• Bereitstellung von Cloud-Daten-/KI-Lösungen (AWS/Azure) mit robusten CI/CD-, Test- und Sicherheitspraktiken

• Integration von ML-Modellen, Experimentierframeworks und Governance-Workflows

• Liefern Sie kundenfertige Dashboards, aussagekräftige Analysen und Beratungsunterlagen.

• Zusammenarbeit in multidisziplinären Teams in agilen, iterativen Lieferzyklen.

Technisches Umfeld
Core Fortgeschrittene SQL/Python-, PySpark/Pandas- und Spark-Orchestrierungstools
Wolke AWS (entsprechende Databricks/Redshift-Lösungen), Azure-Analyseplattformen, Git/CI/CD
Architektur Data Lakehouses, Event-Streaming, semantische Modellierung für BI-Tools
AI / ML : Modell-APIs, Prompt-Engineering, Experimentierframeworks
Unternehmensführung Datenkataloge, Herkunftsnachverfolgung, Sicherheits-/Zugriffskontrollen, DSGVO

Essentielle Anforderungen

• Expertenkenntnisse in SQL/Python für Datenmodellierung, -transformation und -automatisierung

• Produktionsdatenverarbeitung: Spark/PySpark, Cloud-Plattformen (AWS oder Azure)

• Erfahrung in der Datenarchitektur: Lakehouse-Architekturen, ereignisgesteuerte Systeme, semantische BI-Modelle

• Softwareentwicklung: Git-Workflows, CI/CD-Pipelines, Testframeworks

• Analytik: Versuchsplanung, statistische Analyse, Storytelling von Erkenntnissen

• Beratungsorientierung: Einbindung der Stakeholder, kundenorientierte Ergebnisse, agile Umsetzung

• Aktive Sicherheitsfreigabe erforderlich

Wünschenswert

• Projektabwicklung im öffentlichen Sektor/Regierungsbereich

• Fortgeschrittene semantische Modellierung im Business Intelligence (entspricht Power BI/Tableau)

• Plattformen für operative Intelligenz oder Implementierungen von Datennetzen

• Rahmenwerke für die Daten-Governance (Herkunfts-/Katalog-/Zugriffsverwaltung)