In short
Data engineer in Lyon who designs and runs data pipelines in Python, PySpark and Databricks, maintaining a Bronze/Silver/Gold data lake with a focus on data quality, processing performance and cost tracking. Azure cloud and CI/CD (Jenkins, GitHub) experience are a plus.
About the role
LR Technologies Groupe, basé à Lyon, recherche un ingénieur Data expérimenté pour concevoir et déployer des pipelines de données avec Python, PySpark et Databricks.
Vous alimenterez et maintiendrez une architecture Data Lake Bronze, Silver et Gold, optimisant les traitements et assurant la qualité des données et le suivi des coûts. Une expérience cloud Azure et des pratiques CI/CD (Jenkins, GitHub) sont appréciées.
Requirements
- Proven experience as a data engineer
- Design and deployment of data pipelines with Python
- PySpark
- Databricks
- Building and maintaining Bronze/Silver/Gold data lake architecture
- Data quality assurance and cost tracking/optimization of processing
Nice to have
- Azure cloud experience
- CI/CD practices (Jenkins, GitHub)