Pessoa engenheira de dados sênior

Resumo da vaga:

Estamos em busca de uma pessoa Engenheiro(a) de Dados Sênior com sólida experiência em Databricks ou Snowflake, AWS e arquiteturas modernas de dados, para atuar na construção, evolução, migração e sustentação de soluções de dados em ambientes de alta volumetria e complexidade.

Buscamos um profissional com forte conhecimento técnico, visão de arquitetura e experiência em migração de ambientes tradicionais para arquiteturas Lakehouse, utilizando Databricks e/ou Snowflake.

É fundamental possuir experiência com Arquitetura Medallion (Bronze, Silver e Gold), Apache Airflow, Apache Iceberg e práticas de qualidade, governança, performance e escalabilidade de dados.

O profissional atuará em conjunto com times multidisciplinares, contribuindo para a modernização da plataforma de dados, desenvolvimento de pipelines e disponibilização de informações confiáveis para consumo analítico e demais soluções de negócio.

• Responsabilidades e atribuições:
• Desenvolver, manter e otimizar pipelines de dados (ETL/ELT) utilizando Databricks ou Snowflake, conforme a plataforma adotada;
• Atuar em projetos de migração e modernização de plataformas de dados para arquitetura Lakehouse, utilizando Databricks e/ou Snowflake;
• Projetar, implementar e evoluir soluções baseadas em Arquitetura Medallion (Bronze, Silver e Gold);
• Desenvolver e sustentar soluções de Engenharia de Dados em ambientes AWS;
• Desenvolver, configurar e monitorar fluxos de orquestração utilizando Apache Airflow;
• Trabalhar com formatos modernos de armazenamento e gerenciamento de tabelas, como Apache Iceberg e Delta Lake;
• Implementar processos de ingestão, transformação, processamento e disponibilização de dados estruturados e semiestruturados;
• Desenvolver e aplicar regras de qualidade de dados, incluindo validação, consistência, completude, integridade e rastreabilidade;
• Trabalhar com grandes volumes de dados, garantindo performance, escalabilidade e confiabilidade;
• Desenvolver e otimizar consultas utilizando SQL avançado;
• Apoiar a definição e evolução de arquiteturas Data Lake, Lakehouse e Data Warehouse;
• Aplicar boas práticas de governança, segurança, catalogação e controle de acesso aos dados;
• Realizar análise e otimização de performance de jobs, pipelines e consultas;
• Implementar processos de monitoramento, observabilidade e tratamento de falhas;
• Trabalhar com versionamento de código e práticas de CI/CD;
• Participar de definições técnicas e arquiteturais relacionadas à modernização da plataforma de dados;
• Atuar de forma colaborativa com os times de Engenharia de Dados, Analytics, Arquitetura e áreas de negócio;
• Apoiar tecnicamente outros profissionais do time, promovendo boas práticas.
• Atuar em projetos de migração e modernização de plataformas de dados para arquitetura Lakehouse, utilizando Databricks e/ou Snowflake;
• Projetar, implementar e evoluir soluções baseadas em Arquitetura Medallion (Bronze, Silver e Gold);
• Desenvolver e sustentar soluções de Engenharia de Dados em ambientes AWS;
• Desenvolver, configurar e monitorar fluxos de orquestração utilizando Apache Airflow;
• Trabalhar com formatos modernos de armazenamento e gerenciamento de tabelas, como Apache Iceberg e Delta Lake;
• Implementar processos de ingestão, transformação, processamento e disponibilização de dados estruturados e semiestruturados;
• Desenvolver e aplicar regras de qualidade de dados, incluindo validação, consistência, completude, integridade e rastreabilidade;
• Trabalhar com grandes volumes de dados, garantindo performance, escalabilidade e confiabilidade;
• Desenvolver e otimizar consultas utilizando SQL avançado;
• Apoiar a definição e evolução de arquiteturas Data Lake, Lakehouse e Data Warehouse;
• Aplicar boas práticas de governança, segurança, catalogação e controle de acesso aos dados;
• Realizar análise e otimização de performance de jobs, pipelines e consultas;
• Implementar processos de monitoramento, observabilidade e tratamento de falhas;
• Trabalhar com versionamento de código e práticas de CI/CD;
• Participar de definições técnicas e arquiteturais relacionadas à modernização da plataforma de dados;
• Atuar de forma colaborativa com os times de Engenharia de Dados, Analytics, Arquitetura e áreas de negócio;
• Apoiar tecnicamente outros profissionais do time, promovendo boas práticas.

Requisitos e qualificações:

• Experiência sólida como Engenheiro(a) de Dados, preferencialmente em nível Sênior;

• Experiência comprovada com Databricks ou Snowflake;

• Experiência com Apache Spark e PySpark, especialmente em ambientes de processamento distribuído;

• Experiência avançada em SQL;

• Experiência com AWS, especialmente serviços relacionados à Engenharia de Dados, como S3, Glue, IAM e Athena;

• Experiência com Apache Airflow para orquestração, agendamento e monitoramento de pipelines;

• Experiência prática com Arquitetura Medallion (Bronze, Silver e Gold);

• Conhecimento sólido em Apache Iceberg e formatos modernos de tabelas para ambientes Lakehouse;

• Experiência comprovada em projetos de migração para arquitetura Lakehouse utilizando Databricks e/ou Snowflake;

• Experiência na construção, manutenção e otimização de pipelines ETL/ELT;

• Conhecimento em arquiteturas Data Lake, Lakehouse e Data Warehouse;

• Experiência em qualidade de dados, incluindo validações, controles, monitoramento e tratamento de inconsistências;

• Experiência com processamento de grandes volumes de dados;

• Conhecimento em modelagem e transformação de dados;

• Experiência com Git e práticas de CI/CD;

• Conhecimento de boas práticas de segurança e governança de dados;

• Capacidade de análise de performance e troubleshooting de pipelines;

• Perfil analítico, colaborativo e com autonomia para conduzir demandas técnicas.

Desejáveis:

• Experiência com Databricks Unity Catalog;

• Conhecimento de Databricks Workflows/Jobs;

• Conhecimento de Delta Lake;

• Experiência com Snowflake, incluindo otimização de workloads e recursos avançados da plataforma;

• Conhecimento aprofundado em serviços AWS, como AWS Glue, Amazon EMR, Amazon Athena, AWS Lake Formation e Amazon Redshift;

• Experiência com Amazon MWAA (Managed Workflows for Apache Airflow);

• Conhecimento em ferramentas de qualidade de dados, como Great Expectations e Soda;

• Experiência com Python aplicado à Engenharia de Dados;

• Conhecimento em ferramentas de orquestração complementares, como Azure Data Factory;

• Experiência com infraestrutura como código, utilizando Terraform;

• Conhecimento em automação, observabilidade e monitoramento de plataformas de dados;

• Certificações relacionadas a Databricks, Snowflake ou AWS;

• Experiência em ambientes de alta volumetria, sistemas críticos e projetos de modernização de plataformas de dados.

Benefícios:

• Vale Alimentação e/ou Vale Refeição;
• Convênio Sesi e Sesc, oferecendo acesso a serviços de saúde, bem-estar e lazer;
• Parceria com Instituições de Ensino, com descontos exclusivos em cursos e programas educacionais;
• Auxílio para Certificações;
• Possibilidade de crescimento na empresa e de participação em projetos estratégicos;
• Oportunidade de trabalhar em uma empresa do mercado em plena expansão.