Engenheiro de Dados

Descrição das atividades:

• Projetar, desenvolver e otimizar pipelines de dados utilizando ADF e Databricks.
• Desenvolver soluções de processamento distribuído utilizando Spark.
• Implementar processos ETL/ELT de média e alta complexidade.
• Modelar estruturas de dados para consumo analítico.
• Garantir qualidade, performance e observabilidade dos pipelines.
• Realizar troubleshooting e otimização de consultas SQL.
• Participar da definição de padrões e boas práticas de engenharia de dados.
• Apoiar profissionais juniores e conduzir revisões técnicas.
• Participar de discussões arquiteturais e evolução da plataforma de dados.

- Requisitos necessários:

• Obrigatórios Experiência com Azure Data Factory (ADF) e/ou Databricks.
• Experiência sólida em SQL. Experiência com Python.
• Experiência com Spark.
• Experiência na construção de pipelines ETL/ELT.
• Conhecimento de Data Lakes Experiência com Git.
• Diferenciais Experiência com arquitetura Lakehouse.
• Conhecimento em Delta Lake. Conhecimento em governança e qualidade de dados.
• Experiência com monitoramento e observabilidade.
• Competências esperadas Autonomia para conduzir entregas.
• Capacidade de propor melhorias técnicas.
• Comunicação clara com áreas de negócio e tecnologia.
• Perfil analítico e orientado à solução de problemas.

Requisitos

Valorizado

Experiência profissional