Engenheiro de dados SR
Posted Updated
Description
A Compass UOL procura um engenheiro de dados sênior para definir e evoluir arquiteturas de dados, com foco em pipelines escaláveis e confiáveis. O candidato trabalhará com Databricks, Spark, Airflow e plataformas cloud, desenvolvendo APIs e automações.
O profissional deverá dominar governança, segurança e observabilidade de pipelines, além de conduzir iniciativas de melhoria de performance e custo. Região Brasil; regime de trabalho remoto híbrido é comum.
Domínio avançado de Databricks, PySpark, Spark SQL e Delta Lake. Experiência sólida com DLT/Lakeflow Spark Declarative Pipelines, CDC e Structured Streaming. Experiência prática com Liquid Clustering, Auto Loader e otimização de tabelas Delta. Domínio de Unity Catalog, governança, segurança, linhagem e controle de acesso. Experiência na definição e implementação de Arquitetura de Dados, incluindo Lakehouse e arquitetura Medallion (Bronze, Silver e Gold). Experiência prática com Azure Data Factory (ADF) para orquestração, ingestão e integração de dados. Experiência em Desenvolvimento de APIs (REST) e programação em Python para integrações e automações. Conhecimento avançado em Spark Performance Tuning e otimização de planos de execução. Experiência com Databricks Workflows, CI/CD, Git e automação de Deploy.Skills
Sign in to read and join the discussion.