Data Architekt - BigData
Data Architekt - BigData
Data Architekt - BigData
Data Architekt - BigData
Westhouse Consulting GmbH
Internet, IT
Frankfurt am Main
- Art der Anstellung: Vollzeit
- 62.500 € – 120.000 € (von XING geschätzt)
- Vor Ort
Data Architekt - BigData
Über diesen Job
Data Architekt - BigData
Westhouse Consulting GmbH
1 month ago
Role details
Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Working hours
Regular working hours
Languages
German
Experience level
Intermediate
Job location
Tech stack
Java
Amazon Web Services (AWS)
Automation of Tests
Big Data
ETL
Data Warehousing
Database Development
Amazon DynamoDB
Python
Scala
Software Engineering
SQL Databases
Amazon Web Services (AWS)
Spark
State Machines
Electronic Medical Records
Cloudformation
Pytest
Data Lake
Amazon Web Services (AWS)
Data Management
Terraform
Redshift
Job description
- Erstellung von Big Data Prototypen für die Datenintegration, Datenhaltung, Daten-Aufbereitung Datenanalyse und Datennutzung im Projekt
- Technische Data Lake / DWH Architektur mit dem Schwerpunkt: Analyse großerDatenmengen mit Hilfe von Spark
- Erarbeitung der Mehrschicht-Architektur des Data Lakes (landing, structured, export, usecase-Zonen)
- Entwicklung und Optimierung von ETL-Routinen im Amazon Redshift und Postsgres Umfeld. Entwicklung komplexer SQL-Statements.
- Umgang mit AWS Services: S3, DynamoDB, Step Functions, EMR, AWS Glue, Athena, Lambda, RDS…
- Softwareentwicklung mit Scala, Python
Requirements
- (Muss) 6 Jahre Architekturverantwortung im Bereich Data-Lake
- (Muss) 6 Jahre Erfahrung mit energiewirtschaftlichen Daten in Unternehmen der Energiewirtschaft
- (Muss) 6 Jahre Erfahrung in der Umsetzung von Anforderungen in den Sprachen: Scala, Python, SQL, Java
- (Muss) 3 Jahre Erfahrung mit AWS-Services rund um Datenhaltung und Datenmanagement (S3, DynamoDB, Step Functions, EMR, AWS Glue, Athena, Lambda, RDS)
- (Muss) 6 Jahre Erfahrung in der Datenbankentwicklung mit großen Datenmengen (BigData)
- (Soll) 3 Jahre Erfahrung in der Modellierung- und Entwicklung für ETL Strecken
- (Soll) 3 Jahre Erfahrung im Aufbau von Data-Lake Architekturen
- (Soll) 3 Jahre Erfahrung mit Problemlösungs-Know-How
- (Soll) 3 Jahre Erfahrung in der Entwicklung von Infrastructure as Code: Terraform, AWS CDK, CloudFormation
- (Soll) 3 Jahre Erfahrung in der Testautomation mit PyTest und ScalaTest