About the role
AD4 Octógono busca un Data Engineer especializado en Spark y Scala para desarrollar y mantener pipelines de datos en un entorno financiero y de reporting regulatorio. Colaborarás con analistas y expertos en modelado de datos para traducir requerimientos en soluciones técnicas robustas.
Se valorará experiencia en AWS (EMR/Gluе/Lambda/Step Functions), orquestación de procesos batch y calidad de datos. Ofrecemos modalidad Remota y posibilidad de oficinas, con salario entre 25.000€ y 32.000€.
Diseñar, desarrollar, mantener y optimizar pipelines con Spark y Scala. Implementar procesos ETL y transformaciones complejas. Migrar y sustituir tablas garantizando la integridad de los datos. Colaborar con analistas y modeladores de datos para convertir requisitos en especificaciones técnicas. Orquestar y monitorizar procesos batch con AWS Step Functions, EMR, Glue y Lambda. Configurar infraestructura con Terraform y gestionar automatización. Desarrollar validaciones, reconciliaciones y controles de calidad de datos. Analizar logs y resolver incidencias en producción; documentar cambios. Experiencia profesional de al menos 2 años en Data Engineering con Spark y Scala. Conocimientos de Apache Spark, Scala y Hadoop. Experiencia en desarrollo y mantenimiento de pipelines de datos. Transformaciones, migraciones y sustitución de tablas con integridad de datos. Conocimientos de servicios AWS: EMR, Glue, Lambda y Step Functions. Experiencia en orquestación, planificación y monitorización de procesos batch. Conocimientos de Terraform para infraestructura. Monitorización de logs Hadoop/YARN y resolución de incidencias. Dominio de SQL y experiencia con Amazon Athena o motores equivalentes. Control de calidad de datos y detección de duplicados. Scripting en Bash y Python; entornos Unix/Linux. Git y Maven; CI/CD; Jenkins; Jira. Inglés C1 imprescindible para comunicación internacional.