Engenheiro de Dados Sênior
Summary
Senior Data Engineer at DataEX, a São Paulo data & AI consultancy, building and evolving cloud big-data solutions on Microsoft Azure and Databricks: ETL/ELT pipelines, data architecture decisions, governance/quality, and performance. Core stack: Azure Data Factory, Databricks, Data Lake, SQL, Python/PySpark. Hybrid, 3 days/week onsite in Jardins.
Oportunidade: Engenheiro de Dados Sênior (Azure/ Databricks)
📌 Sobre a DataEX:
Com 12 anos de atuação no mercado, a DataEX é uma consultoria especializada em Dados e IA, com parcerias estratégicas com Microsoft, AWS e Databricks, atuando em projetos de alto impacto para grandes clientes. Valorizamos a inovação, a colaboração, o desenvolvimento contínuo e a qualidade de vida, com incentivos voltados certificações e bem-estar.
Sobre a vaga:
Estamos em busca de um(a) profissional de Engenharia de Dados Sênior para atuar no desenvolvimento e evolução de soluções de Big Data em nuvem, com foco em Microsoft Azure e Databricks. A pessoa será responsável por construir e otimizar pipelines, participar de decisões de arquitetura de dados, implementar boas práticas de governança e garantir a qualidade, segurança e performance dos dados, contribuindo com soluções estratégicas de engenharia de dados.
Informações:
💼 Modelo de contratação: PJ
🏢 Modelo de trabalho: Híbrido (3 vezes por semana presencial)
📍 Local: Jardins – São Paulo/SP
Requisitos Técnicos:
- Experiência sólida em Engenharia de Dados, atuando em nível Sênior;
- Experiência prática no desenvolvimento e sustentação de pipelines ETL/ELT;
- Vivência em arquitetura de dados, participando do desenho e estruturação de soluções e plataformas de dados;
- Experiência com Microsoft Azure, especialmente:
- Azure Data Factory;
- Azure Databricks;
- Azure Data Lake;
- Conhecimento sólido em SQL e Python;
- Experiência com PySpark e processamento distribuído;
- Conhecimento de bancos de dados relacionais e NoSQL;
- Conhecimentos de Big Data e processamento de grandes volumes de dados;
- Experiência com Git/controle de versionamento;
- Experiência com governança de dados, qualidade, segurança, catalogação e linhagem de dados, considerando requisitos da LGPD;
- Capacidade de levantamento e análise de requisitos junto às áreas de negócio;
- Experiência com documentação técnica;
- Capacidade de propor soluções técnicas, participar de decisões arquiteturais e apoiar a evolução da plataforma de dados.
Será um diferencial....
- Certificações Microsoft relacionadas a Azure e Engenharia de Dados;
- Experiência com Unity Catalog e ferramentas de governança de dados;
- Experiência em projetos de migração ou modernização de plataformas de dados;
- Conhecimentos de CI/CD e práticas de DevOps aplicadas a dados;
- Conhecimentos de otimização de performance e custos em ambientes de dados em nuvem;
- Experiência em ambientes corporativos críticos e/ou regulados;
- Experiência com arquitetura Lakehouse e Medallion;
- Vivência na definição de padrões e boas práticas de arquitetura e governança de dados.
Atividades:
- Desenvolver, manter e sustentar pipelines de dados ETL/ELT utilizando Azure Data Factory, Azure Databricks e Azure Data Lake;
- Desenvolver soluções de processamento e transformação de dados utilizando SQL, Python e PySpark;
- Participar do desenho, definição e evolução da arquitetura de dados, propondo soluções escaláveis e eficientes;
- Levantar e analisar requisitos junto às áreas de negócio, traduzindo necessidades funcionais em soluções técnicas de dados;
- Executar testes, validações e controles de qualidade, garantindo integridade, confiabilidade e acuracidade dos dados;
- Monitorar pipelines e ambientes de dados, identificando falhas, gargalos e oportunidades de melhoria de performance e custos;
- Realizar troubleshooting e atuar na resolução de incidentes e problemas relacionados às soluções de dados;
- Participar de projetos de implementação, evolução e migração de soluções de dados;
- Aplicar boas práticas de segurança, privacidade, qualidade e governança de dados, considerando políticas internas e requisitos da LGPD;
- Contribuir com a definição e implementação de padrões de governança, qualidade, catalogação e linhagem de dados;
- Utilizar práticas de versionamento de código e colaboração por meio de Git;
- Elaborar e manter documentação técnica de pipelines, processos, integrações e soluções implementadas;
- Participar de reuniões com stakeholders para entendimento de requisitos, apresentação de soluções e acompanhamento das demandas;
- Apoiar profissionais de menor experiência e contribuir para disseminação das boas práticas de engenharia de dados;
- Atuar em ambiente ágil, utilizando práticas como Scrum e Kanban.
Skills
Sign in to read and join the discussion.