Especialista Engenharia de Dados

Principais Responsabilidades:

• Projetar, desenvolver e evoluir pipelines de dados para ingestão, transformação e disponibilização de informações;
• Atuar na definição e evolução da arquitetura da plataforma de dados, incluindo arquitetura Lakehouse e Arquitetura Medalhão (Bronze, Silver e Gold);
• Desenvolver e otimizar soluções utilizando SQL, Python e PySpark;
• Atuar com Azure Databricks, Azure Data Lake Storage (ADLS Gen2), Delta Lake e Unity Catalog;
• Definir estratégias de particionamento, compactação e organização das tabelas, incluindo tratamento de problemas de small files;
• Monitorar e otimizar a performance de jobs, pipelines e consultas, identificando gargalos e oportunidades de melhoria;
• Desenvolver estratégias de ingestão batch e incremental e integrações com bancos de dados, APIs, sistemas corporativos e outras fontes;
• Apoiar a implementação de governança, segurança, qualidade, monitoramento e observabilidade dos pipelines;
• Avaliar impactos de arquitetura, escalabilidade, performance e custos das soluções;
• Definir e disseminar padrões e boas práticas de Engenharia de Dados;
• Apoiar tecnicamente engenheiros de dados e demais profissionais da área;
• Atuar em conjunto com Analytics na definição das estruturas e camadas disponibilizadas para consumo;
• Documentar arquiteturas, padrões, fluxos e decisões técnicas da plataforma.

Requisitos

Valorizado

Experiência profissional