Data Platform Consultant

Buscamos uma pessoa Data Platform Consultant para ajudar a evoluir nossa plataforma de dados e, principalmente, acelerar a capacidade dos times e domínios de negócio de construir e disponibilizar produtos de dados de forma autônoma, segura e escalável. Essa posição terá um papel importante na construção de uma plataforma cada vez mais self-service, governada e orientada a produtos de dados, atuando como referência técnica e conectando arquitetura, engenharia, governança e necessidades dos diferentes times da companhia.

Responsabilidades

• Evoluir a arquitetura da plataforma de dados, garantindo escalabilidade, segurança, performance e eficiência de custos;
• Apoiar os times na definição e implementação de arquiteturas para novos domínios e produtos de dados;
• Atuar como referência técnica e consultiva para Data Engineers, Analytics Engineers, Data Scientists e times de Analytics;
• Criar padrões, frameworks, templates e aceleradores que reduzam o tempo necessário para desenvolver e colocar novos produtos de dados em produção;
• Estruturar e evoluir padrões para ingestão, processamento, transformação, armazenamento e disponibilização de dados;
• Apoiar a evolução da arquitetura Lakehouse e das diferentes camadas da plataforma;
• Desenvolver boas práticas de DataOps, versionamento, testes, CI/CD e automação de deploy;
• Apoiar estratégias de observabilidade, monitoramento, qualidade e confiabilidade dos pipelines e produtos de dados;
• Implementar e evoluir padrões de segurança, controle de acesso, catálogo, metadados e linhagem de dados;
• Identificar oportunidades de otimização de processamento, armazenamento e custos da plataforma;
• Avaliar novas tecnologias, arquiteturas e serviços de dados através de estudos e provas de conceito;
• Produzir documentação técnica e promover compartilhamento de conhecimento e capacitação dos times;
• Trabalhar junto aos times de Plataforma, Engenharia, Governança e áreas de negócio para acelerar a adoção de uma arquitetura orientada a Data Products e domínios de dados.

• Experiência sólida com arquitetura e engenharia de plataformas de dados em cloud;
• Experiência com Azure e Databricks em ambientes corporativos;
• Conhecimentos de Spark/PySpark, SQL e Python;
• Experiência com arquiteturas Data Lake, Lakehouse e Delta Lake;
• Conhecimento de pipelines de ingestão, transformação e orquestração de dados;
• Experiência com práticas de CI/CD, Git e automação de ambientes de dados;
• Conhecimento de segurança, governança, observabilidade e Data Quality;
• Capacidade de analisar requisitos e propor soluções arquiteturais escaláveis;
• Capacidade de atuar de maneira consultiva, influenciando decisões técnicas e apoiando diferentes times;
• Boa comunicação e capacidade de traduzir temas técnicos complexos para diferentes públicos.

• Experiência com dbt ou frameworks modernos de transformação de dados;
• Conhecimento de Infrastructure as Code, como Terraform;
• Experiência com ferramentas de catálogo e governança como OpenMetadata, Microsoft Purview ou similares;
• Experiência com arquiteturas orientadas a Data Mesh, Data Products e self-service data platforms;
• Conhecimento de FinOps aplicado a ambientes de dados e otimização de workloads;
• Experiência com Power BI/Fabric e integração entre plataforma de dados e camada analítica.