Databricks Data Engineer | Senior (Remote)
Compass UOL Databricks Data Engineer | Senior (Remote)
- Atuar na definição e implementação de soluções de Engenharia de Dados, conectando necessidades de negócio e tecnologia;
- Projetar e construir arquiteturas de dados, incluindo Data Lake e Data Lakehouse;
- Desenvolver e gerenciar pipelines de dados escaláveis, em processamento batch e streaming;
- Realizar assessment e análise dos processos de coleta, organização, transformação e disponibilização de dados;
- Garantir qualidade, governança, segurança e performance dos dados;
- Trabalhar em parceria com times de Dados e Negócio, apoiando a tomada de decisões;
- Atuar na definição de estratégias de dados alinhadas aos objetivos do negócio;
- Mentorar profissionais de Engenharia de Dados.
- Experiência sólida em Engenharia de Dados e arquitetura de dados;
- Conhecimento avançado em Azure Data Factory e Databricks;
- Experiência com Apache Spark e processamento distribuído;
- Experiência na construção de pipelines batch e streaming;
- Conhecimento em ferramentas de orquestração, como Airflow;
- Conhecimento em Kafka e dbt;
- Experiência com bancos de dados SQL e NoSQL, como PostgreSQL, MongoDB e Cassandra;
- Conhecimento em plataformas e serviços de dados em cloud, AWS e GCP;
- Experiência com arquiteturas Data Lake e Data Lakehouse;
- Conhecimento em práticas de governança, qualidade e segurança de dados.