Pessoa engenheira de dados sênior - big data

Resumo da vaga:

Buscamos uma pessoa Engenheira de Dados Sênior, para atuar em um dos maiores bancos digitais do Brasil, no coração de uma plataforma de dados de missão crítica e alta volumetria.

Você será responsável por projetar, construir e manter pipelines de dados robustos e de alta performance, processando grandes volumes transacionais e analíticos em ambiente distribuído, com foco em confiabilidade, qualidade e governança ao longo de todo o ciclo de vida do dado.

Esta posição exige domínio real de engenharia de dados em larga escala: buscamos um perfil técnico forte, autônomo e capaz de tomar decisões de arquitetura, tuning e otimização em cenários de Big Data.

Responsabilidades e atribuições:

• Projetar, desenvolver e manter pipelines de dados batch e streaming em alta volumetria, com confiabilidade e governança de ponta a ponta.
• Processar e transformar grandes volumes de dados utilizando Apache Spark em ambiente distribuído.
• Otimizar jobs Spark em produção (tuning, particionamento, gerenciamento de memória, controle de shuffle) visando performance e custo.
• Modelar dados e construir processos de ETL/ELT, incluindo modelagem dimensional e relacional para consumo analítico e operacional.
• Integrar dados de múltiplas fontes respeitando os padrões de arquitetura corporativa do banco.
• Garantir qualidade, observabilidade, lineage e governança dos dados em toda a plataforma.
• Orquestrar e versionar workflows de dados (ex.: Airflow), com práticas de CI/CD aplicadas a pipelines.
• Colaborar com times de Analytics, Ciência de Dados, Produto e Engenharia na evolução da plataforma de dados.

Requisitos e qualificações:

• Apache Spark e Big Data em alta volumetria: experiência sólida e comprovada processando grandes volumes de dados com Spark em ambiente distribuído, incluindo tuning, particionamento, gerenciamento de memória e otimização de jobs em produção.
• Spark além do Databricks: a vivência com Spark não pode ter se limitado ao uso dentro do Databricks. Buscamos profissionais que trabalharam com Spark em ambientes abertos ou autogerenciados (ex.: Spark open source, Spark on Kubernetes, AWS EMR, GCP Dataproc, clusters Hadoop/YARN), demonstrando domínio da engine fora de uma plataforma que abstrai essa complexidade.
• Senioridade comprovada em Engenharia de Dados, preferencialmente em ambientes de missão crítica e/ou setor financeiro.
• Python em nível avançado aplicado a processamento e transformação de dados.
• SQL avançado (consultas complexas, performance e modelagem).
• Experiência com cloud (GCP e/ou AWS) em cargas de dados em escala.
• Modelagem de dados e construção de pipelines ETL/ELT (dimensional e relacional).
• Orquestração de workflows com Airflow ou ferramenta equivalente.
• Boas práticas de versionamento (Git), testes e CI/CD em pipelines de dados.

Desejáveis:

• Scala aplicado a Spark.
• Processamento em tempo real / streaming (Kafka, Spark Structured Streaming, Flink).
• Ecossistema GCP: BigQuery, Dataproc, Dataflow, Cloud Composer.
• dbt e abordagem de Lakehouse (Delta Lake, Iceberg); experiência com Databricks é bem-vinda como complemento à vivência com Spark aberto.
• Governança de dados, data quality e catálogo de dados.
• Infraestrutura como código (Terraform) e containerização (Docker/Kubernetes).
• Vivência prévia no setor bancário ou financeiro, em ambientes regulados.
• Certificações em cloud (GCP ou AWS) e/ou em Big Data.

Benefícios:

• Vale Alimentação e/ou Vale Refeição;
• Convênio Sesi e Sesc, oferecendo acesso a serviços de saúde, bem-estar e lazer;
• Parceria com Instituições de Ensino, com descontos exclusivos em cursos e programas educacionais;
• Auxílio para Certificações;
• Possibilidade de crescimento na empresa e de participação em projetos estratégicos;
• Oportunidade de trabalhar em uma empresa do mercado em plena expansão.