Pessoa engenheira de dados sênior (inglês e/ou espanhol avançados)

Estamos buscando uma pessoa que ouse protagonizar com a gente.

Responsabilidades e atribuições:

1. Operação dos agentes e auditoria de código

Interagir com o sistema multiagente, analisar criticamente o documento plan.md e revisar detalhadamente o pacote de código gerado.

Identificar problemas de desempenho e qualidade, como distribuição desigual dos dados (data skew), movimentações excessivas de dados (shuffles) e tipagem inadequada.

2. Testes de paridade e reconciliação de dados

Planejar e executar testes que comprovem a equivalência integral entre os resultados produzidos no Databricks e os dados processados no ambiente legado.

Garantir a correspondência de 100% em volume, valores e esquemas de dados.

3. Gestão de exceções e escalabilidade

Resolver de forma autônoma alertas e problemas menores de código.

Encaminhar ao Arquiteto de Dados situações classificadas como NEEDS-HUMAN, alterações nos padrões de arquitetura ou inconsistências semânticas.

4. Qualidade e segurança de código

Corrigir vulnerabilidades identificadas por ferramentas de análise estática de segurança (SAST), como Fluid Attacks, além de problemas relacionados a dependências e não conformidades, antes da abertura dos Pull Requests.

5. Ciclo de entrega (Git Flow)

Gerenciar branches de desenvolvimento no padrão feat/TICKET-slug, garantir a execução rigorosa das verificações locais obrigatórias (pre-checks) e conduzir a resolução de tickets rejeitados (REJECTED) ou defeitos identificados durante as etapas de QA/UAT.

6. Estabilidade durante a transição

Garantir a sustentação operacional dos pipelines após a implantação, realizando correções rápidas de anomalias e acompanhando indicadores de execução e monitoramento (telemetria) durante o período de estabilização assistida (hypercare).

Requisitos e qualificações:

- Experiência em Engenharia de Dados ou desenvolvimento ETL.

- Experiência prática com Python e SQL em ambientes de produção.

- Conhecimento prático de Apache Spark.

- Conhecimento de Databricks, sendo desejável experiência com Asset Bundles.

- Experiência com controle de versão e fluxos de Pull Requests, tendo revisão de código como prática recorrente, e não ocasional.

- Desejável experiência com pipelines CI/CD no Azure DevOps.

Python · PySpark · SQL · T-SQL · Delta Lake · Apache Spark · Git · Pull Requests · Code Review · CI/CD · Azure DevOps · pytest · YAML · ETL · SSIS · SQL Server Agent · Databricks (desejável).

Desejável:

- Conhecimento básico para leitura e interpretação de fluxos Alteryx e SSIS.

- Experiência com pytest.

- Conhecimentos de segurança de código.

- Conhecimento avançado de Git.

Informações adicionais:

Por aqui, você também conta com vantagens pensadas para apoiar sua rotina, bem-estar e desenvolvimento:

• Zenklub: duas sessões gratuitas por mês com psicólogos, terapeutas, nutricionistas ou coaches. Sessões extras saem por R$ 70 e o benefício também pode incluir dependentes.
• ️ Wellhub (Gympass): acesso a descontos de até 75% em mais de 22 mil academias espalhadas pelo Brasil.
• MomCare: incentivo monetário flexível no período pós-licença maternidade.
• Incentivo Alura: apoio ao desenvolvimento contínuo, com subsídio de 50% da licença Alura Plus, via reembolso pelo período de 12 meses.
• Parcerias educacionais: descontos de até 70% em diversas instituições de ensino, incluindo graduação, pós-graduação, MBAs, idiomas e muito mais.
• RecomenDatum: suas conexões também podem gerar oportunidades! Indique profissionais para o nosso time ou empresas para nosso ecossistema e ganha recompensas.

Quer conhecer outras vantagens de fazer parte da Datum? Acesse a home da nossa página de carreiras para conhecer os demais benefícios que oferecemos.

*Os benefícios podem variar conforme os acordos definidos na contratação.