In short
Junior Data Engineer/DevOps role, hybrid in Milan, developing and maintaining cloud ETL pipelines and batch processing on AWS. Core stack: Python, SQL, Airflow, AWS Lambda, AWS Batch/Fargate, Redshift, Great Expectations, and CloudFormation-based infrastructure.
About the role
Il ruolo Cerchiamo un Junior Data Engineer- DevOps engineer per un allocazione in un ambiente moderno e collaborativo. Lavorerai su progetti di data engineering con focus su architetture cloud e pipeline ETL.
Pronto/a a candidarsi? Prima di farlo, si assicuri di leggere tutti i dettagli relativi a questo lavoro nella descrizione sottostante.
Cosa farai
- Sviluppare e mantenere pipeline ETL utilizzando Airflow e AWS Lambda
- Gestire elaborazioni batch con AWS Batch e Fargate
- Lavorare con Amazon Redshift per data warehousing
- Implementare data quality checks con Great Expectations
- Collaborare con il team su soluzioni di data engineering scalabili
- Python, incluso testing
- SQL
- Airflow
- AWS Lambda
- AWS Batch e Fargate
- Amazon Redshift
- GitHub
- Apache Iceberg o equivalente formato open table
- CloudFormation;
- GitHub xysqume Actions e workflow.
- Conoscenza di DuckDB
- Conoscenza di Spark
Ibrida su Milano
Ai sensi della normativa vigente l’offerta è rivolta ad entrambi i sessi (DL 903/77).
Requirements
- Python, including testing
- SQL
- Airflow
- AWS Lambda
- AWS Batch and Fargate
- Amazon Redshift
- GitHub
- Apache Iceberg or equivalent open table format