Data Engineer - Databricks
Posted Updated
Summary
Hybrid (1–2 days/week onsite in Lisbon) Data Engineer role building and optimizing data pipelines, architectures and datasets, doing root-cause analysis, and writing advanced SQL/PL-SQL across Oracle, SQL Server, PostgreSQL, Athena and Databricks, with Azure/AWS cloud services and PowerBI.
Modelo - Híbrido: 1 ou 2 dias por semana. Local: Lisboa
Competências Técnicas:
- Experiência na criação e otimização de pipelines de dados, arquiteturas e conjuntos de dados;
- Experiência na realização de análise de causa raiz em dados e processos internos e externos para responder a questões específicas de negócio e identificar oportunidades de melhoria;
- Criar processos que suportem a transformação de dados, estruturas de dados, metadados, dependência e gerenciamento de carga de trabalho;
- Experiência em manipulação, processamento e extração de valor de conjuntos de dados desconectados;
- Conhecimento avançado de trabalho com SQL e PL-SQL e experiência para atuação em: Autoria de consultas (SQL) em bancos de dados relacionais para análise e exploração de dados em diferentes fontes e interfaces, como Oracle, MS SQL Server, MySQL, PostgreSQL, AWS Athena, Databricks;
- Experiência com linguagens de script orientadas a objetos/funções de objetos: Python, Java, C++, Scala, etc.;
- Acompanhar e monitorar ciclo produtivo das execuções dos pipelines de dados;
- Experiência com Azure (ADLS, Databricks) e/AWS cloud services (EC2, EMR, RDS, Redshift, Lambda, Azure Functions);
- Familiaridade com ferramentas de visualização de dados como PowerBI.
Requisitos académicos:
- Licenciatura em Engenharia, Ciência da Computação, ou outra disciplina relacionada;
- Formação na área das Tecnologias de Informação, ou similar;
- Uma mente analítica com capacidade de resolução de problemas;
- Boa capacidade de comunicação, colaboração com equipas multidisciplinares e influir com as suas ideias;
- Uma abordagem proativa para identificar problemas e eventuais ações de melhoria.