Analytics Engineer Pleno - #85
Summary
Builds and maintains cloud-based data pipelines using Python, Spark, and Airflow to ingest, transform, and deliver reliable analytics for business teams.
Buscamos um(a) Analytics Engineer para atuar no desenvolvimento, evolução e sustentação de pipelines analíticos em ambiente de dados em nuvem. O profissional será responsável por construir e manter processos de ingestão, transformação e disponibilização de dados, garantindo qualidade, performance e confiabilidade das informações consumidas pelas áreas de negócio e times analíticos.
Atuará com Python e Spark para processamento de dados em larga escala, utilizando Airflow como ferramenta de orquestração. Será responsável por pipelines de extração e integração em AWS, operando em ambientes distribuídos com Kubernetes e EMR.
No armazenamento e camada analítica, trabalhará com SQL, S3 e Trino, apoiando a modelagem e consulta de dados analíticos. Também participará da definição e manutenção da infraestrutura de dados utilizando Terraform, apoiado por framework proprietário de Infraestrutura como Código (IaC).
O profissional irá colaborar com times de engenharia, analytics e negócio, atuando no tuning e otimização de jobs Spark, versionamento e padronização de pipelines, além de contribuir com boas práticas de observabilidade, governança e escalabilidade da plataforma.
- Experiência sólida com desenvolvimento de pipelines de dados (ingestão, transformação e disponibilização).
- Conhecimento em Python para processamento de dados.
- Experiência com Spark para processamento em larga escala.
- Vivência com Airflow para orquestração de workflows.
- Experiência com serviços de dados na AWS, especialmente com S3 e EMR
- Experiência com ambientes distribuídos e conteinerização, utilizando Kubernetes.
- Domínio de SQL para modelagem e consulta de dados analíticos.
- Experiência com motores de consulta distribuída, como Trino.
- Conhecimento em Infraestrutura como Código (IaC), utilizando Terraform.
- Experiência com versionamento de código (Git).
- Vivência com otimização e tuning de jobs Spark.
- Conhecimento em boas práticas de governança, observabilidade e qualidade de dados.
- Remuneração competitiva com base na experiência;
- Possibilidade de crescimento na empresa e de participação em projetos estratégicos;
- Ambiente de trabalho dinâmico e desafiador;
- Oportunidade de trabalhar em uma empresa do mercado em plena expansão.