Entwicklung, Optimierung und Wartung von skalierbaren Datenpipelines und -architekturen auf Basis moderner Open-Source-Technologien wie Apache Iceberg, Apache Nifi und Trino.

Design und Implementierung von skalierbaren ETL/ELT-Pipelines mit Apache NiFi

Aufbau und Pflege von Iceberg-basierten Data Lakehouse-Strukturen

Entwicklung und Optimierung von SQL-Abfragen und Datenzugriffen über Trino

Integration verschiedener Datenquellen (z.B. Kafka, S3, RDBMS, REST APIs)

Sicherstellung von Datenqualität, -sicherheit und -governance

Performance-Tuning und Monitoring der Dateninfrastruktur

Zusammenarbeit mit interdisziplinären Teams zur Umsetzung datengetriebener Lösungen Dokumentation technischer Konzepte und Prozesse

Anforderungen / technische Skills:

Apache Iceberg, Apache NiFi und Trino

Apache Spark Code verstehen

Cloud Erfahrung Azure wünschenswert

CI/CD & DevOps (Git, Github Actions)

Monitoring & Logging (Prometheus, Grafana, Splunk)

Scripting & Programmierung (Bash, Java)

Erfahrung mit ETL/ELT-Prozessen und API‘s

Umgang mit großen Datenmengen und verteilten Systemen

Erfahrung mit Realtime-Streaming (Kafka)

Apache Iceberg: Erfahrung mit Schema Evolution, Partitionierung, Time Travel

Apache NiFi: Erstellung komplexer Flows, Fehlerbehandlung, Security-Konfiguration

Trino: Tiefe SQL-Kenntnisse, Performance-Tuning, Datenquellenintegration

Cloud-Plattformen: AWS, Azure oder GCP (insbesondere S3, IAM, Glue, etc.)

Programmiersprachen: Python, Java oder Scala

Containerisierung: Docker, Kubernetes

CI/CD: Git, Jenkins, Terraform

Monitoring & Logging: Prometheus, Grafana, ELK Stack

Besonderheiten (Besondere Technologien, wie z.B. Kafka, Kotlin, etc.) deutschsprachig

Apache NiFi Grafana Prometheus Kafka GitHub GitHub Actions Github Copilot Kotlin Python Java SQL Azure