Data Engineer (Databricks) | Sr (Remote)
Posted Updated
Description
A Compass Uol está buscando especialista em engenharia de dados para atuar com arquitetura Lakehouse em Databricks, pipelines robustos e governança de dados. O profissional apoiará equipes técnicas, definindo melhores práticas, padrões de ingestão, transformação e disponibilidade de dados com alto desempenho.
Você trabalhará com Spark, PySpark, Delta Lake e ferramentas de orquestração na nuvem, contribuindo para iniciativas de CI/CD, automação e observabilidade em produção.
Domínio de Databricks e Delta Lake. Experiência com DLT/Lakeflow, CDC e Structured Streaming. Conhecimento de Unity Catalog, governança, segurança e linhagem de dados. Definição e implementação de arquitetura de dados com modelo Lakehouse e Medallion (Bronze, Silver, Gold). Experiência com Azure Data Factory (ADF) para orquestração e ingestão de dados. Desenvolvimento de APIs REST e Python para integrações e automação. Otimização de Spark, Photon, particionamento e planos de execução. Experiência com Databricks Workflows, CI/CD, Git e automação de deploy. Capacidade de dimensionar workloads e reduzir custos.Skills
Sign in to read and join the discussion.