Azure Data Factory Data Engineer
Posted
Summary
Data engineer developing and maintaining ETL/data pipelines on Microsoft Azure, writing and optimizing SQL queries, monitoring integration processes and ensuring data quality in a hybrid role based in Porto. Core stack includes Azure Data Factory, Azure Databricks/Synapse/SQL, Python and PySpark.
Azure Data Factory Data Engineer (Hibrido, Porto)
Publicada 21 de Outubro
Principais Responsabilidades:
- Desenvolver e manter pipelines de dados e processos de ETL, assegurando a integração de informação proveniente de diferentes fontes;
- Implementar soluções de transformação e processamento de dados com recurso a tecnologias Microsoft Azure;
- Desenvolver e otimizar queries SQL para suportar a extração, transformação e disponibilização de dados;
- Garantir a qualidade, consistência e disponibilidade dos dados;
- Monitorizar os processos de integração e processamento de dados, identificando e resolvendo falhas e problemas de desempenho;
- Colaborar com as equipas técnicas e de negócio para compreender os requisitos e implementar soluções adequadas;
- Documentar os fluxos de dados e as soluções desenvolvidas.
Requisitos mínimos
- Formação superior em Engenharia Informática, Ciências da Computação ou área semelhante;
- Experiência profissional como Data Engineer ou numa função equivalente, com participação no desenvolvimento e manutenção de soluções de integração e processamento de dados;
- Experiência com bases de dados relacionais e domínio de SQL para consulta, manipulação e transformação de dados;
- Experiência com ferramentas de ETL, incluindo a criação e manutenção de processos de extração, transformação e carregamento de dados provenientes de diferentes fontes;
- Experiência com uma ou mais das seguintes tecnologias: Azure Data Factory, Azure Databricks, Azure SQL, Azure Synapse, Python ou PySpark, aplicadas à construção de pipelines e ao tratamento de dados;
- Conhecimentos da plataforma Microsoft Azure e dos seus serviços de dados serão valorizados.