Data Engineer (Freelance)
Posted Updated
Summary
Freelance Data Engineer based in Portugal building and maintaining high-volume ETL/ELT pipelines for financial/billing data where precision and auditability are critical. Core stack: Python, advanced SQL, Apache Airflow on AWS, SingleStore (Snowflake as a plus), dbt, and CI/CD with GitHub Actions.
Localização: Candidatos devem residir em Portugal
Inglês fluente obrigatório
Competências Técnicas Principais
- Forte domínio de Python em engenharia de dados (pipelines, ETL/ELT)
- SQL avançado (queries complexas, tuning de performance e múltiplos ambientes)
- Experiência com Apache Airflow em AWS (criação e agendamento de DAGs)
Dados & Performance
- Experiência com SingleStore (schema design, ingestão e otimização de queries)
- Experiência com Snowflake (diferencial)
- Forte base em performance de bases de dados (indexação, particionamento e otimização em escala)
Engenharia de Dados & Sistemas
- Desenvolvimento e manutenção de pipelines de dados complexos e de alto volume
- Experiência com dados financeiros / billing (precisão e auditabilidade são críticos)
- Capacidade de adaptação rápida a sistemas existentes sem documentação completa
- dbt para transformação de dados
- CI/CD em pipelines de dados (GitHub Actions, AWS CodePipeline, testes automatizados, versionamento)