Databricks Lakehouse Analytics Engineer | Sênior (Remote)
Summary
Senior Analytics Engineer to migrate legacy data warehouse to a Databricks Lakehouse, modeling domain-specific marts in the gold layer and coordinating cutover waves with BI teams.
- Mapear e inventariar os consumidores do DW legado (BI, relatórios, aplicações e integrações sistêmicas), classificando por domínio e criticidade;
- Modelar os marts de consumo por domínio na camada gold, derivados da silver, seguindo o template medalhão e os contratos de dados;
- Executar o reapontamento de dashboards, relatórios, aplicações e integrações sistêmicas para a gold, wave a wave, coordenado com o cutover por domínio;
- Validar a paridade de consumo entre legado e gold e suportar a desativação dos pontos de consumo legados;
- Contribuir com a priorização das waves junto ao Product Owner e ao Arquiteto de Dados.
- Analytics Engineering: experiência sólida em camada de consumo — modelagem dimensional/marts, camada semântica e métricas certificadas;
- Databricks: Spark SQL em produção, Delta Lake e arquitetura medalhão (bronze, silver, gold);
- Reapontamento de BI (Power BI, Tableau ou similar): troca de fontes, refatoração de datasets e validação de paridade de números;
- Integrações sistêmicas de dados: APIs, extrações batch e cargas entre sistemas, incluindo contratos de interface e planos de rollback;
- SQL avançado: técnicas de reconciliação e comparação de bases em escala;
- Unity Catalog (lineage, descoberta e documentação de métricas e modelos de consumo);
- Modelagem dimensional (Kimball/star schema) e boas práticas de marts por domínio;
- Python e PySpark para automação de validações de paridade e rotinas de reapontamento;
- Data Contracts e Data Quality (expectations, DQ gates) aplicados à camada de consumo;
Requisitos desejáveis:
- Experiência em migração de DW com coexistência legado/novo, cutover por ondas e reconciliação de bases em volume — diferencial importante;
- Vivência em projetos de Data Mesh (domínios, dado como produto, governança federada) — diferencial importante;
- Conhecimento de DataStage ou outras ferramentas ETL legadas (facilita a leitura do consumo atual);
- Experiência com camadas semânticas e catálogos de métricas (metric stores, semantic layers);
- Observabilidade de dados e monitoramento de qualidade na camada de consumo;
- Experiência no mercado financeiro ou de crédito;
- Certificações Databricks (Data Analyst Associate, Data Engineer Associate);
- Especificações abertas de contrato de dados (Open Data Contract Standard, ODPS);