Data Engineer - Mid - Remote Hibrido Lisboa
Summary
Mid-level Data Engineer (hybrid, Lisbon) who builds, optimizes and governs ETL/ELT data pipelines using Spark, SQL, Python and Delta Lake on the Azure Fabric ecosystem, also owning data architecture, quality, security standards and continuous performance/cost improvements.
🚀 1. Estruturação do Pipeline de Dados
Constrói, otimiza e mantém pipelines de ingestão, transformação e carga de dados (ETL/ELT).
Define a arquitetura dos pipelines, os padrões, camadas (raw, bronze, silver, gold) e governança.
Coordena a implementação técnica dos pipelines, garantindo boas práticas e padrões definidos pela arquitetura.
🧠 2. Visão Técnica e Estratégica
Foco na execução técnica, performance e confiabilidade do código e jobs.
Foco em escalabilidade, interoperabilidade entre sistemas, e desenho da malha de dados.
Equilibra visão técnica e de produto; atua como ponte entre time técnico e stakeholders.
🛠 3. Ferramentas e Tecnologias
Especialista em Spark, SQL, Python, Delta Lake e Arquitetura de dados.
Escolhe as ferramentas e tecnologias do ecossistema - Azure Fabric.
Garante que o time esteja capacitado nas tecnologias escolhidas e ajuda a resolver gargalos técnicos.
🔐 4. Segurança e Qualidade dos Dados
Implementa testes, validações, e lida com tratamento de erros e dados corrompidos.
Define padrões de qualidade, catalogação, segurança e políticas de acesso.
Garante que essas diretrizes sejam seguidas no dia a dia do time.
📈 5. Evolução Contínua e Inovação
Automatiza e monitora para melhorar continuamente performance e custo.
Avalia e propõe novas abordagens arquiteturais conforme o crescimento do negócio.
Estimula inovação no time, promove POCs e adoção de novas soluções alinhadas à estratégia.