Data Engineer
Summary
Data Engineer in São Paulo building and operating end-to-end data pipelines (ingestion, transformation, storage, serving) for a biome data platform, ensuring data quality, governance, tenant isolation, and RAG-ready datasets. Core stack: SQL, Python, cloud services, ETL/ELT, orchestration, and observability.
Disponibilizar dados confiáveis, segregados, rastreáveis e economicamente sustentáveis para a plataforma, os agentes e a mensuração de valor.
● Construir e operar ingestão, transformação, armazenamento, indexação e serving de dados estruturados e não estruturados.
● Definir qualidade, catálogo, linhagem, contratos, retenção, exclusão e ownership de dados.
● Garantir segregação por empresa e aplicação de permissões em bases, vetores, arquivos, chunks e logs.
● Preparar pipelines para RAG, telemetria, analytics e dashboards de valor.
● Monitorar frescor, completude, duplicidade, falhas, custo e performance dos pipelines.
● Apoiar integrações e migrações, documentando dependências e regras de negócio.
Entregas esperadas
● Pipelines e modelos de dados versionados e observáveis.
● Catálogo, dicionário, linhagem e regras de qualidade e acesso.
● Bases prontas para RAG, produto e mensuração, com testes de isolamento.
● Experiência em engenharia de dados, SQL, Python, APIs e serviços cloud.
● Domínio de modelagem, ETL/ELT, data quality, orquestração e observabilidade.
● Conhecimento de dados não estruturados, vetores e padrões de segurança e privacidade.
● Capacidade de entender regras de negócio e transformá-las em contratos de dados.
Diferenciais
● Experiência com RAG, vector databases, streaming ou produtos analíticos.
● Conhecimento de LGPD, data governance e FinOps de dados.
Indicadores de sucesso
● SLA de frescor, disponibilidade e qualidade dos dados.
● Incidentes de acesso indevido ou mistura entre tenants igual a zero.
● Custo e tempo de processamento por pipeline e por caso de uso.
Interfaces principais: Solution Architect, AI Specialists, Integration, Value Analyst, DevOps e donos de dados dos biomas.
Benefícios:
● Restaurante Bbistrô (no local - Almoço e café da tarde) e Ticket Flash no valor de R$ 50,00 ao dia para o dia home office
● Plano de saúde (SulAmerica) - Categoria Especial 100 (com coparticipação). No caso de inclusão de dependentes (cônjuge e filhos), o desconto é integral;
● Plano odontológico – opcional;
● Seguro de Vida (SulAmerica)
● Total Pass (qualidade de vida e saúde)
● Day Off de aniversário;
● 13° Nota
● Férias remuneradas após 1 ano de contrato
