Data Engineer | AWS & Databricks
Somos uma empresa apaixonada por pessoas, pautamos sempre pela qualidade das nossas relações e pelo cuidado com cada membro do time.
Estamos buscando uma pessoa para fazer parte deste time que vem crescendo a cada dia, tanto em número quanto em desenvolvimento.
Encorajamos e acreditamos no nosso time e prezamos por fazer junto. Se você é essa pessoa, que tem um senso de equipe e que procura por desenvolvimento constante, a BIX é para você!
Vem fazer parte da BIX Tecnologia!
O que esperamos que você tenha:
-
AWS Services: Experiência sólida no provisionamento e uso de serviços AWS como DMS, S3, Glue, Athena, Kinesis, IAM (roles/policies), VPC/networking, etc.;
-
Arquitetura de streaming / NRT: Experiência no desenho de pipelines near-real-time, semantics de processamento (at-least-once / exactly-once) e trade-offs entre latência e consistência;
- CDC (Change Data Capture): experiência com captura contínua de mudanças via redo logs, supplemental logging e replicação incremental;
- Apache Kafka: experiência sólida e comprovada em produção;
- Databricks: domínio de Spark, Structured Streaming, Delta Lake e arquitetura lakehouse (camadas bronze/prata/ouro), Unity Catalog, lineage e data quality frameworks;
- SQL avançado e modelagem de dados relacional e dimensional;
- Inglês avançado/fluente para atuação internacional.
Desejáveis
-
Orquestração: Airflow, Data Factory ou equivalente;
-
Kafka Connect / Debezium: conectores de CDC integrados ao Kafka;
-
Certificação nas clouds (AWS, GCP, Azure);
-
Certificação em ferramentas de Engenharia de Dados (Databricks, Clickhouse, Airflow, dentre outras).
O que você fará em seu dia a dia:
-
Projetar e implementar a migração de pipelines batch legados para uma arquitetura de streaming de dados em tempo real;
-
Configurar e operar captura de mudanças (CDC) na origem, replicando dados via AWS DMS para as camadas de streaming e lakehouse;
-
Modelar tópicos, partições e estratégias de serialização no Kafka, garantindo ordering, throughput e tolerância a falhas;
-
Desenvolver pipelines de ingestão e processamento no Databricks (Structured Streaming, Delta Lake), atendendo também demandas correntes da plataforma;
-
Garantir qualidade, observabilidade e governança dos dados em trânsito e em repouso;
-
Documentar arquitetura, decisões técnicas e realizar code review com o time;
-
Realizar reuniões com clientes, por meio de videoconferência, desenvolvendo os questionamentos estratégicos voltados ao seu negócio/processo, a cada início de projeto ou sprint;
-
Gerenciar atividades do projeto, utilizando métodos ágeis, de modo a garantir as entregas, a cada novo projeto.
O que a BIX oferece para você:
- Trabalho 100% remoto;
- Plataforma de terapia e nutricionistas online;
- Plataforma de bem estar;
- Plano de carreira acelerado;
- Contato direto com líderes de grandes empresas;
- Ambiente diferenciado (Hora BIX, integrações e Happy Hours, Programa de Mentoria, Reuniões 1on1);
- Aulas on-line de inglês (cambly);
- Folga no aniversário.