SUPARNA CHAKRABORTY
Fähigkeiten und Kenntnisse
Werdegang
Berufserfahrung von SUPARNA CHAKRABORTY
- Bis heute 3 Jahre und 5 Monate, seit März 2022
Senior Associate
PwC SDC
SKILLS - 1. SQL Advanced(Postgresql , Databricksql , Mysql) 2. ETL Tool(Snaplogic , BODS) 3. Advanced Exel 4. Python , SAP , Oracle
- 9 Monate, März 2021 - Nov. 2021
Data Engineer
Pwc(IN)(Contractor)
SKILLS - 1. SQL Intermediate(Azure Sql) 2. ETL Tool(Snaplogic ) 3. Advanced Exel
- 6 Monate, Juli 2017 - Dez. 2017
Intern
Optimize IT Solution
Ausbildung von SUPARNA CHAKRABORTY
- 2 Monate, Mai 2025 - Juni 2025
ETL Pipeline Automation with Apache Airflow
Online Project
• Designed and implemented an end-to-end ETL pipeline using Apache Airflow for workflow orchestration. • Developed PySpark scripts for efficient data transformation and automated CSV data ingestion into SQLite. • Configured Airflow DAGs for scheduling, monitoring, and error handling of data workflows. • Utilized Bash and Python for post-processing and seamless integration tasks. • Version-controlled the project using Git and GitHub, ensuring collaboration and code tracking.
- 2 Monate, Feb. 2025 - März 2025
ETL Pipeline with Medallion Architecture for Real-Time IoT Data Processing
Online Project
Designed and implemented an ETL pipeline using Azure IoT Hub for real-time data ingestion from Raspberry Pi Azure IoT Online Simulator, storing raw data in Azure Data Lake as part of a Medallion Architecture (Bronze, Silver, Gold layers). • Loaded data in the Silver and Gold layers using PySpark’s foreachBatch and lambda functions to process batch data generated using groupby and window functions on date columns.
- Bis heute 10 Monate, seit Okt. 2024
Ad-hoc Activity on PySpark and Databricks
Online Project
Mounted Databricks notebooks with an Azure Storage Account using dbutils.fs.mount. Read and cleansed JSON files from an Azure Storage Account using StructType to create a schema, UDFs, and explode_outer to format unstructured JSON columns. Connected with Azure SQL DB and Cosmos DB through Databricks for table creation, upsert operations, and working with streaming data from Azure IoT Hub. Worked extensively with Spark DataFrame API and Spark SQL for CSV/JSON file manipulation and temporary view
- 1 Jahr und 11 Monate, Sep. 2014 - Juli 2016
Computer Science
University of Calcutta
- 2 Jahre und 11 Monate, Juli 2011 - Mai 2014
Computer Science
University of Calcutta
Sprachen
Englisch
Fließend
Deutsch
Gut
XING – Das Jobs-Netzwerk
Über eine Million Jobs
Entdecke mit XING genau den Job, der wirklich zu Dir passt.
Persönliche Job-Angebote
Lass Dich finden von Arbeitgebern und über 20.000 Recruiter·innen.
22 Mio. Mitglieder
Knüpf neue Kontakte und erhalte Impulse für ein besseres Job-Leben.
Kostenlos profitieren
Schon als Basis-Mitglied kannst Du Deine Job-Suche deutlich optimieren.