In short
Freelance Data Engineer based in Lille who designs, develops, industrializes and optimizes data processing pipelines on an AWS cloud and Databricks platform, using Python/PySpark, SQL, DBT and Airflow orchestration, with GitHub CI/CD and Copilot-assisted development in an Agile team.
About the role
La mission consiste à intervenir sur des projets de Data Engineering et de développement de plateformes Data, avec pour objectif de concevoir, développer, industrialiser et optimiser des pipelines de traitement de données dans un environnement Cloud AWS et Databricks.
Le consultant sera notamment chargé de :
Développement Data : concevoir et développer des pipelines de données en Python et PySpark afin de collecter, transformer et traiter des volumes importants de données
Expertise SQL : rédiger des requêtes SQL complexes, assurer la modélisation et la transformation des données, et optimiser les performances des traitements et des requêtes
Databricks & DBT : développer et maintenir des traitements de données, structurer les transformations et garantir la fiabilité ainsi que la qualité des données
Orchestration des workflows : mettre en place et gérer l'ordonnancement des pipelines et des traitements avec Airflow / Astro Scheduler
Industrialisation & CI/CD : mettre en œuvre les processus de déploiement continu et d'intégration continue avec GitHub CI/CD, en veillant à la qualité, à la maintenabilité et à la fiabilité du code
Environnement Cloud AWS : intervenir sur une architecture Data Cloud et exploiter les services AWS nécessaires au stockage, au traitement et à la gestion des données
Développement assisté par IA : utiliser GitHub Copilot pour accélérer le développement, améliorer la productivité et optimiser la qualité du code
Méthodologie Agile : participer aux cérémonies Agile, collaborer avec les différentes équipes techniques et fonctionnelles et contribuer à l'amélioration continue des solutions
Requirements
- Design and develop data pipelines in Python and PySpark to collect, transform and process large data volumes
- Write complex SQL queries, perform data modeling and transformation, optimize query and processing performance