Data Engineer
Summary
Data engineer (2+ years' experience) in Portugal building data pipelines with PySpark and an Azure Datalake integration layer using Databricks, Azure Analysis Services (DAX) and Azure DevOps, then delivering QoS dashboards in Power BI for a monitoring product tracking app performance, logs and BAU KPIs.
Procuramos competências em engenharia de dados para melhorar o nosso produto Monitoring Solutions, que disponibiliza capacidades abrangentes de monitorização do desempenho de aplicações, eventos de LOG e KPIs de BAU. Em linha com as iniciativas do grupo para elevar a qualidade do serviço, estamos a desenvolver vários dashboards de Quality of Service (QoS) com uma abordagem industrial.
O serviço de engenharia de dados envolverá a construção de pipelines de dados com PySpark, o desenvolvimento de cubos tabulares com Analysis Services (DAX) e a criação de dashboards com Power BI.
O serviço incluirá também a avaliação de necessidades para definir requisitos funcionais e técnicos, o apoio à coordenação com equipas terceiras, como as equipas de Data Integration e Datalake, e a implementação de processos de ingestão e transformação de dados. Adicionalmente, o serviço envolverá a implementação de cálculos e filtros específicos de acordo com os requisitos, bem como de medidas de segurança e controlo de acessos.
Requisitos
Procuramos competências em engenharia de dados e desenvolvimento de dashboards para alcançar os seguintes objetivos e entregáveis:
- Desenhar uma solução técnica que responda às nossas necessidades, incluindo modelação de dados, fluxo de integração e mapeamento de dados.
- Construir uma camada de integração baseada em Azure Datalake utilizando DAX, PySpark, Databricks, Azure Analysis Services e Azure DevOps.
- Desenvolver dashboards em Power BI ligados a Azure Cubes.
- Implementar cálculos específicos conforme necessário.
Exigimos um mínimo de 2 anos de experiência nas ferramentas relevantes, com experiência prática OBRIGATÓRIA em Databricks, Azure Analysis Services e Power BI.
Estamos abertos aos seguintes níveis de experiência: intermédio, avançado e especialista.