In short
Consulting data engineer supporting a client's Build and Run teams in maintaining and extending Big Data streaming services (Kafka, Flink, Kafka Connect), automating deployment and operations, building new cloud services on OpenShift, and providing level-3 production support and on-call duty.
About the role
CONTEXTE ET OBJECTIF
Le bénéficiaire souhaite une prestation d’accompagnement en data engineering, aussi bien pour l’équipe de réalisation des projets (Build) que pour les équipes de production (Run).
L’objectif est le maintien en condition opérationnelle des offres existantes de streaming, ainsi que la création de nouveaux services dans le cloud.
MISSIONS
- Industrialisation et automatisation des actes d’administration, d’exploitation et de déploiement, en Java, Scala, Python, Shell, Ansible, Go, etc.
- Participation à la mise en place et à l’évolution des offres de service Big Data sur des technologies orientées Streaming (Flink, Kafka Connect).
- Apport d’expertise Big Data en tant que support de niveau 3 sur les incidents de production.
- Accompagnement et conseil des développeurs dans l’utilisation de ces technologies.
- Mise en place des bonnes pratiques et des règles d’ingénierie.
- Force de proposition et aide à la mise en place de nouvelles solutions Big Data, sur le cloud comme sur des environnements classiques.
- Création de services dans le cloud sur OpenShift.
- Mise en place des services Data autour du Streaming et du Processing (dans le cloud et hors cloud).
- Mise en place et application des normes et des processus permettant de sécuriser la production des technologies Big Data.
- Accompagnement et support des IT métiers, maintien en condition opérationnelle des applications.
- Astreinte dans le cadre du RUN.
ENVIRONNEMENT TECHNIQUE
Outils importants Kafka, Stream Processing, Spring Boot, Java Multi Threading, API REST, Kubernetes, Docker, OpenShift
Streaming Flink, Kafka Connect
Langages et automatisation Java, Scala, Python, Shell, Go, Ansible
Requirements
- Industrialization and automation of administration, operations and deployment with Java, Scala, Python, Shell, Ansible, Go
- Big Data streaming expertise: Kafka, Flink, Kafka Connect