Skip to content
Search jobs inside your AI agent. Claude, ChatGPT, Claude Code, Codex, Gemini, Cursor and Grok
Connect

Compass UOL

NewBe an early applicant

Desenvolvedor Databricks/Python

Posted Updated

Summary

Data engineering role building, evolving and sustaining large-scale data processing solutions: designing scalable Databricks (PySpark) pipelines, implementing complex transformations with Pandas and XML (ElementTree) on Azure, and documenting best practices. 100% remote, CLT contract in Brazil.

Estamos em busca de uma pessoa desenvolvedora com experiência em tecnologias de engenharia de dados para atuar na construção, evolução e sustentação de soluções de processamento de dados em larga escala. Procuramos alguém com sólida experiência em Python, Databricks e Azure, para apoiar a transformação de dados em informações estratégicas para o negócio.


Responsabilidades e atribuições:

  • Projetar e desenvolver pipelines de dados escaláveis utilizando Databricks (PySpark) para processamento e análise de grandes conjuntos de dados;
  • Colaborar com as equipes de engenharia e ciência de dados para entender os requisitos e fornecer soluções eficientes;
  • Implementar transformações de dados complexas, limpeza de dados e agregações usando PySpark e otimizar o desempenho do código;
  • Utilizar Python ElementTree para manipulação eficiente de dados XML e integração de dados heterogêneos;
  • Desenvolver scripts em Python utilizando Pandas para manipulação e análise de dados estruturados;
  • Garantir a qualidade e integridade dos dados, implementando práticas de teste e monitoramento;
  • Colaborar na definição e implementação de melhores práticas de engenharia de dados e arquitetura de dados;
  • Manter documentação técnica abrangente para os processos e soluções implementadas.


Requisitos:

  • Experiência no desenvolvimento de soluções de dados utilizando Python;
  • Experiência em construção e manutenção de pipelines de dados com Databricks (PySpark);
  • Vivência com processamento, transformação e análise de grandes volumes de dados;
  • Experiência com manipulação e tratamento de dados utilizando Pandas;
  • Conhecimento em leitura, processamento e integração de dados XML utilizando Python ElementTree;
  • Experiência com plataformas de nuvem, especialmente Microsoft Azure;
  • Conhecimento em práticas de qualidade, integridade e monitoramento de dados;
  • Vivência na definição e implementação de boas práticas de engenharia e arquitetura de dados.

Desejáveis:

  • Experiência na colaboração com times de Engenharia de Dados, Analytics e Ciência de Dados;
  • Conhecimento em otimização de performance de pipelines e processamento distribuído;
  • Familiaridade com documentação técnica de processos, pipelines e soluções de dados.



Modalidade CLT

100% remoto

Skills

Apply

See also

Software Engineering jobs by country — openings, pay and top skills →