Talha Zafar

Angestellt, Data Engineer, diconium GmbH

Fähigkeiten und Kenntnisse

Platform
Docker
Data Analysis
Snowflake
Python
Data lake
Big Data
Apache Spark
Databricks
Microsoft Azure
Data Warehouse
Apache Hadoop
SQL
AWS
Artificial intelligence
Apache Airflow
Git
Apache Hive
Python pandas
PostgreSQL
Database
Data Modeling
Data Integration
CI/CD
Cloud Computing
ETL

Werdegang

Berufserfahrung von Talha Zafar

  • Bis heute 3 Jahre und 1 Monat, seit Nov. 2022

    Data Engineer

    diconium GmbH

    I am a Data Engineer at Diconium GmbH (Volkswagen Group), specializing in large-scale data platforms and AI/LLM integration. I deliver enterprise-grade solutions on Azure and Databricks with expertise in PySpark, Terraform, and CI/CD, ensuring data reliability for stakeholders like CARIAD, Catena-X, BMW, Mercedes, and Porsche. I build ETL pipelines, manage multi-vendor data exchange, and develop AI-powered full-stack applications (FastAPI + ReactJS).

  • 3 Jahre und 11 Monate, Jan. 2019 - Nov. 2022

    Big Data Engineer

    Systems Limited

    • Built Apache NiFi workflows to ingest data from SFTP, Oracle, PostgreSQL, MongoDB, and REST APIs into AWS S3. Designed and implemented ETL processes using PySpark within Databricks, following the Medallion architecture (Bronze, Silver, Gold layers). • Orchestrated and scheduled data pipelines with Databricks • Stored processed data as Delta Tables in AWS S3 for efficient querying and analytics with Databricks SQL and AWS Athena.

Ausbildung von Talha Zafar

  • 4 Jahre und 1 Monat, März 2014 - März 2018

    Computer Engineering

    Lancaster University

    B.Eng Computer Engineering

  • 4 Jahre und 1 Monat, März 2014 - März 2018

    Computer Engineering

    COMSATS Institute of Information Technology

    B.Eng Computer Engineering

XING – Das Jobs-Netzwerk

  • Über eine Million Jobs

    Entdecke mit XING genau den Job, der wirklich zu Dir passt.

  • Persönliche Job-Angebote

    Lass Dich finden von Arbeitgebern und über 20.000 Recruiter·innen.

  • 21 Mio. Mitglieder

    Knüpf neue Kontakte und erhalte Impulse für ein besseres Job-Leben.

  • Kostenlos profitieren

    Schon als Basis-Mitglied kannst Du Deine Job-Suche deutlich optimieren.

21 Mio. XING Mitglieder, von A bis Z