About the role
A LCG Inc. procura um Data Engineer para integrar a equipa em regime remoto.
O papel centra-se em desenhar, desenvolver e manter pipelines de dados eficientes, usando Azure Databricks, PySpark e Azure Data Factory conforme necessário. As responsabilidades incluem ingesto, transformação e modelação de dados num Data Lakehouse, preparação de datasets para Machine Learning, treino e avaliação de modelos, e monitorização de qualidade de dados.
Desenvolver e manter pipelines ETL/ELT com Azure Databricks e PySpark. Implementar ingesto, transformação e modelação de dados em Data Lakehouse. Preparar datasets para ML incluindo limpeza e engenharia de features. Colaborar com Data Scientists para treino e avaliação de modelos. Selecionar métricas de avaliação e monitorizar qualidade de dados e desempenho de modelos. Integrar outputs de modelos nos fluxos de dados e garantir custos/ performance. Assegurar boas práticas de desenvolvimento, documentação e testes. 2 a 3 anos de experiência em Engenharia de Dados. Experiência sólida com Python, SQL e PySpark. Conhecimentos em pipelines ETL/ELT e Data Lakehouse. Conhecimento de Azure Databricks e armazenamento de dados em Azure Data Lake Storage. Familiaridade com ferramentas de versionamento e gestão de projetos (Git, Jira, Confluence).