Lead Data Engineer (w/m/d) – infas 360

infas 360 berät Wirtschaft und Wissenschaft im Nutzen aller verfügbaren Daten und Analysen, um bessere strategische Entscheidungen zu treffen sowie operative Planungen und Maßnahmen zu optimieren. Basis der Beratung sind die Sammlung und Kombination aller verfügbaren Datenquellen, die fortlaufend aktualisiert und analytisch aufbereitet werden. Zudem verfügen wir mit easymap über eine der international führenden Anwendungen für Business Mapping.

Die infas 360 hat sich als Teil der international agierenden Ipsos Gruppe als Full-Service-Anbieter darauf spezialisiert soziales Handeln, gesellschaftlich wie ökonomisch, in ihrer räumlichen und zeitlichen Dimension darstellbar zu machen.

Als Senior Data Engineer (w/m/d) im Location Data & Analytics Team spielst Du eine Schlüsselrolle in der Entwicklung und Optimierung unserer Dateninfrastruktur. Du bist verantwortlich für den Aufbau robuster und automatisierter Datenpipelines, die Pflege unserer Datenplattform und die Unterstützung von Data Scientists und Analysten bei der Erhebung wichtiger Erkenntnisse.

• Entwurf einer nachhaltigen Datenarchitektur und Umsetzung einer performanten und stabilen Dateninfrastruktur auf der Google Cloud Platform zur Skalierung unserer Datenoperationen.
• Migration der derzeitigen On-Premise-Lösung auf Basis von PostgreSQL in eine Cloud-Lösung auf Basis von Big Query.
• Entwurf, Implementierung und Optimierung von Datenpipelines für den Umgang mit einer Vielzahl von strukturierten und unstrukturierten Datenquellen.
• Sicherstellung der Datenverfügbarkeit und -qualität durch den Einsatz von Best Practices in den Bereichen Datenmodellierung und Datenmanagement.
• Entwicklung von automatisierten DataOps-Lösungen zur Gewährleistung der Datenintegrität und -transparenz, inklusive Monitoring und Fehlerbehebung.
• Konfiguration, Implementierung und Verwaltung von Airflow zur Orchestrierung von Workflows und DataKitchen für die Implementierung von Tests und Alerts.
• Nutzung Deiner Expertise in Spatial SQL für die Verarbeitung und Analyse von Geo-, Sach- und Marktdaten.
• Zusammenarbeit mit funktionsübergreifenden Teams, um Datenprodukte zu entwickeln, die auf die Geschäftsanforderungen zugeschnitten sind.

• Mindestens 5 Jahre Berufserfahrung im Bereich Data Engineering oder in einer ähnlichen Rolle.
• Tiefgreifende Kenntnisse im Umgang mit Datenbanken (SQL, PostgreSQL, OGC SQL/PostGIS, Big Query) und Skalierung von Datenplattformen.
• Erfahrung in der Arbeit mit ETL/ELT-Prozessen und Datenintegrationswerkzeugen.
  Umfangreiche Erfahrung in der Python-Entwicklung, einschließlich der Beherrschung von Bibliotheken wie Pandas, NumPy, pyspark, pandera oder pytest.
• Praktische Erfahrung mit Cloud Platform-Diensten und Infrastruktur als Code (IaC) für die Bereitstellung und Verwaltung von Datenlösungen – optimalerweise mit Google Cloud Platform.
• Praktische Erfahrung mit Automatisierungs- und Workflow-Orchestrierungstools wie Airflow und dbt sowie mit Data Quality Testing und Data Observability Tools wie DataKitchen.
• Praktische Erfahrung mit VCS und CI/CD mit Git, GitLab, GitHub o.ä.
  Bachelor- oder Master-Abschluss in Informatik, Informationstechnologie oder einem verwandten Bereich.
• Du hast Spaß an der Arbeit und gestaltest Dinge aktiv im Team und wartest nicht darauf, dass Dir Arbeit vorgegeben wird.
• Hervorragende Problemlösungsfähigkeiten und die Fähigkeit, in einem kollaborativen, agilen Umfeld zu arbeiten.
• Optimalerweise Projekterfahrung mit Geodaten und Geoinformationssystemen.
• Du sprichts fließend Deutsch (C1) und Englisch.