In short
Designs and develops robust ETL/ELT data pipelines on Databricks and Delta Lake lakehouse architectures using Spark SQL, Python/PySpark and Scala. Works in the company's Data division in Aix-en-Provence, ensuring data quality and security while collaborating with analysts and data scientists in an agile Scrum/Kanban setup.
About the role
Onepoint recherche un Data Engineer Confirmé Databricks - F/H pour intégrer son pôle Data à Aix-en-Provence. Vous concevrez et développerez des flux ETL/ELT robustes sur Databricks, en utilisant Spark SQL, Python/PySpark et Scala, et contribuerez à des architectures Lakehouse (Delta Lake).
Vous assurerez la qualité et la sécurité des données, collaborerez avec Data Analysts et Data Scientists, et participerez à l’amélioration continue des plateformes grâce à l’agilité Scrum/Kanban.
Requirements
- Experience level: confirmed/experienced Data Engineer
- Design and development of robust ETL/ELT pipelines on Databricks
- Spark SQL
- Python/PySpark
- Scala
- Lakehouse architectures (Delta Lake)
- Data quality and data security practices
- Collaboration with Data Analysts and Data Scientists
- Agile Scrum/Kanban continuous improvement