[Job - 30940] Sênior Data Developer (Dabricks / Azure), Brazil
Na CI&T , ajudamos grandes empresas a transformar o potencial da AI em impacto real nos negócios com AI Deployment, execução AI-native e tech-integrated business solutions.
Com 30 anos de experiência em transformação tecnológica, aceleramos inovação com expertise em agentic SDLC, application modernization, Data & AI, martech e business strategy.
Somos 8.000 CI&Ters em mais de 25 países, colaborando para construir soluções com impacto real. AI já faz parte da forma como trabalhamos, evoluímos e inovamos todos os dias.
Responsabilidades e Atribuições
- Desenvolvimento de Pipelines: Criar e manter pipelines de dados (ETL/ELT) em ambiente Azure, utilizando Databricks para processamento e integração.
- Automação de Deploys: Implementar práticas de CI/CD para automação de deploys e versionamento de código em GitHub.
- Modelagem de Dados: Projetar e otimizar modelos de dados para garantir escalabilidade, performance e governança.
- Migração para Cloud: Apoiar projetos de migração para cloud, garantindo segurança, qualidade e integridade dos dados.
- Colaboração com Times: Trabalhar em conjunto com times de negócio e ciência de dados para o deploy de modelos de IA em ambiente cloud.
- Qualidade dos Dados: Garantir a qualidade e consistência dos dados, aplicando técnicas de data profiling e monitoramento.
- Documentação: Documentar processos, arquiteturas e boas práticas de engenharia de dados.
Requisitos e Qualificações:
- Experiência sólida em Azure Data Services, Databricks e PySpark.
- Domínio de Python e SQL para manipulação e transformação de dados.
- Conhecimento em CI/CD e versionamento com GitHub.
- Domínio de processos de ETL/ELT.
- Experiência em modelagem de dados (conceitual, lógica e física).
- Atuação com Microsoft Azure: ADF, Synapse, Data Lake Storage e Spark.
- Familiaridade com Git/GitHub e Azure DevOps para versionamento e automação de deploys.
- Vivência em projetos de migração para cloud e integração de grandes volumes de dados.
- Desejável experiência com deploy de modelos de IA e uso de ferramentas como Azure ML.
Como será o seu dia a dia:
- Desenvolver e manter pipelines/esteiras de dados em Azure com Databricks.
- Implementar pipelines automatizados para ingestão, transformação e disponibilização de dados.
- Garantir qualidade e governança dos dados em todo o ciclo.
- Colaborar com times multidisciplinares para evolução da arquitetura de dados.
- Tratar altos volumes de dados cadastrais.
- Monitorar indicadores e qualidade das entregas.
- Automatizar processos e consultas.
- Analisar dados para identificar problemas e propor soluções.
Diferenciais:
- Experiência em projetos de IA e automação de pipelines.
- Conhecimento em arquiteturas orientadas a dados e boas práticas de governança.
- Participação em iniciativas de MDM (Master Data Management).
- Familiaridade com Databricks MLflow para gestão de modelos.
- Atuação em ambientes Data Lake e Data Warehouse.