Engenheiro de dados Sr

Produtos de dados ponta a ponta, da ingestão ao consumo, com donos definidos, SLAs e interfaces documentadas, em GCP.

Contratos de dados e evolução de schema, incluindo o fluxo operacional de propagar mudanças quebráveis por pipelines em produção.

Instrumentação de qualidade, linhagem e observabilidade dentro dos pipelines: testes, checagens de frescor e volume, captura de linhagem, alertas roteados para o dono do produto.

Orquestração em Airflow autogerenciado: autoria e versionamento de DAGs, dimensionamento de executores em Kubernetes, políticas de retry e SLA, caminhos de upgrade.

Pipelines como infraestrutura versionada: Terraform para a infra de dados, CI para transformações, promoção entre ambientes, sem alterações manuais em console.

Streaming e CDC nos casos em que a latência exige.

Engenharia de custo: estratégia de particionamento e clustering, atribuição de custo por job e query, ciclo de vida de armazenamento.

Preparação de dados estruturados e não estruturados para recuperação e consumo por agentes, incluindo governança do que agentes podem escrever de volta na plataforma.

LGPD por construção para dados de saúde e prescrição: minimização, acesso por finalidade, mascaramento e tokenização, retenção, evidência auditável.

6+ anos em engenharia de dados, a maior parte com responsabilidade sobre produção (plantão, resposta a incidente, post-mortem).

SQL avançado e Python de produção em base de código versionada.

Profundidade em GCP (BigQuery, Dataflow/Dataproc, Datastream, Pub/Sub)

Airflow em produção e autogerenciado, incluindo operação da plataforma. Airflow 3.x (Task SDK, DAG bundles, versionamento de DAG) é diferencial.

Kubernetes em nível operacional: requests e limits, secrets, autoscaling, troubleshooting de cargas de dados sob pressão.

IaC (Terraform) e GitOps: estratégia de branches, revisão, promoção entre ambientes, detecção de drift.

Processamento distribuído em escala (Spark ou equivalente), com domínio de shuffle, skew e particionamento.

Formatos de tabela abertos (Apache Iceberg e/ou Delta Lake), incluindo manutenção: compactação, expiração de snapshots, crescimento de metadados.

dbt ou framework equivalente de transformação em escala, com testes e documentação.

Dados de varejo, varejo farmacêutico ou saúde: domínios omnichannel, prescrição ou fidelidade.

CDC de fontes operacionais (Oracle, SQL Server, MongoDB, Postgres) para plataforma analítica, com modelagem de custo.

Frameworks de qualidade de dados (Great Expectations, Soda, testes dbt em escala) e ferramentas de catálogo e linhagem (Dataplex, DataHub, OpenMetadata, Collibra).

Vector stores, pipelines de embeddings ou entrega de dados para cargas de RAG e agentes.

Construção de aceleradores reutilizáveis: módulos, templates, bibliotecas internas.