In short
Junior Data Engineer/DevOps role in Milan (hybrid): building and maintaining ETL pipelines and batch processing on AWS with Airflow, Lambda, Batch/Fargate and Redshift, plus data quality checks via Great Expectations. Core stack is Python, SQL, and AWS tooling with CloudFormation and GitHub Actions.
About the role
Il ruolo Cerchiamo un Junior Data Engineer- DevOps engineer per un allocazione in un ambiente moderno e collaborativo. Lavorerai su progetti di data engineering con focus su architetture cloud e pipeline ETL.
Cosa farai
- Sviluppare e mantenere pipeline ETL utilizzando Airflow e AWS Lambda
- Gestire elaborazioni batch con AWS Batch e Fargate
- Lavorare con Amazon Redshift per data warehousing
- Implementare data quality checks con Great Expectations
- Collaborare con il team su soluzioni di data engineering scalabili
Requisiti
- Python, incluso testing
- SQL
- Airflow
- AWS Lambda
- AWS Batch e Fargate
- Amazon Redshift
- GitHub
- Apache Iceberg o equivalente formato open table
- CloudFormation;
- GitHub Actions e workflow.
Costituiscono un plus
- Conoscenza di DuckDB
- Conoscenza di Spark
Modalità di lavoro
Ibrida su Milano
Ai sensi della normativa vigente l’offerta è rivolta ad entrambi i sessi (DL 903/77).
Requirements
- Python, including testing
- SQL
- Airflow
- AWS Lambda
- AWS Batch and Fargate
- Amazon Redshift
- GitHub
- Apache Iceberg or equivalent open table format