Data Engineer – Databricks, Python & Medallion Architecture
Posted 10
views
Summary
Data Engineer developing, implementing, and optimizing data pipelines with Python, PySpark, and Databricks, using Medallion (Bronze/Silver/Gold) architecture and ETL/ELT processes. Hybrid role based in Maia (Porto) with two mandatory on-site days per week.
- Desenvolver, implementar e otimizar pipelines de dados utilizando Python e PySpark.
- Trabalhar com Databricks no processamento, transformação e integração de dados.
- Desenvolver processos ETL/ELT, garantindo qualidade, consistência e performance dos dados.
- Colaborar com equipas técnicas na evolução de soluções de Data Engineering.
- Identificar e resolver problemas relacionados com pipelines e processamento de dados.
- Experiência profissional hands-on com Databricks em produção.
- Experiência sólida com Python e PySpark.
- Experiência prática na implementação de Medallion Architecture (Bronze/Silver/Gold).
- Experiência no desenvolvimento e manutenção de pipelines ETL/ELT.
- Conhecimentos de SQL e transformação de dados.
- Autonomia técnica e capacidade de resolução de problemas.
- Disponibilidade obrigatória para 2 dias presenciais por semana na Maia.
- Experiência com Delta Lake e arquiteturas Lakehouse.
- Conhecimentos de CI/CD e automatização de pipelines.
- Experiência em otimização de performance e qualidade de dados.
LOCALIZAÇÃO E REGIME
Maia, Porto | Híbrido — 2 dias presenciais por semana.