Engenheiro de dados

Objetivo da posição: Executar o desenvolvimento e sustentação de pipelines (processos) de dados em plataformas de big data em nuvem para todas as áreas da empresa, coletando requisitos de negócio, implementando soluções técnicas em Azure e Databricks e apoiando na governança e qualidade dos dados, com o objetivo de contribuir com a disponibilidade, confiabilidade e performance das informações que suportam as operações e decisões corporativas

Responsabilidades:

Desenvolver e sustentar pipelines (processos) de engenharia de dados nas plataformas Azure e Databricks para todas as áreas da empresa, garantindo a disponibilidade, confiabilidade e performance das soluções de dados corporativas, com o seguinte objetivo:

• Eficiência operacional: Processos de dados automatizados, resilientes e confiáveis nas entregas aos produtos de dados;

Capturar e analisar requisitos de negócio junto às diferentes áreas da organização em demandas contínuas, propondo soluções técnicas de dados alinhadas às necessidades operacionais e estratégicas, com o seguinte objetivo:

• Alinhamento estratégico: Produtos que atenda as necessidades do negócio, evitando retrabalhos e maximizando o valor gerado

Executar testes e validações nos pipelines e sistemas de dados em projetos de média e alta complexidade, assegurando a qualidade e integridade das informações processadas, com o seguinte objetivo:

• Confiabilidade das decisões: Acuracidade nas decisões de negócio;

Monitorar a performance dos sistemas de big data em nuvem em toda a empresa, identificando oportunidades de otimização e garantindo a eficiência operacional das soluções implementadas, com o seguinte objetivo:

• Prevenção de prejuízos: Custos operacionais e tempo de resposta para áreas críticas do negócio

Apoiar a implementação de práticas de qualidade, segurança, privacidade e governança de dados em todos os projetos da organização, contribuindo para a conformidade com políticas internas e regulamentações, com o seguinte objetivo:

• Conformidade legal: Compliance e segurança dos dados são obrigatórios por regulamentações como LGPD e normas da ANVISA

Participar de projetos de migração e implementação de soluções de dados corporativas, executando atividades técnicas de acordo com cronogramas e especificações definidas, com o seguinte objetivo:

• Entrega de valor: Projetos entreguem resultados tangíveis dentro de prazos estabelecidos

Elaborar e manter documentação técnica dos pipelines, processos e soluções de dados implementadas, promovendo o compartilhamento de conhecimento e facilitando a manutenção das soluções, com o seguinte objetivo:

• Eficiência operacional: Reduz dependência de pessoas específicas e facilita manutenções futuras e transferência de conhecimento

Realizar troubleshooting e apoiar na resolução de problemas técnicos nos sistemas de dados, contribuindo para a continuidade operacional e satisfação dos usuários internos, com o seguinte objetivo:

• Continuidade operacional: Minimiza impactos em áreas críticas como supply chain, vendas e produção

Apoiar profissionais de menor experiência e outras áreas da empresa em questões relacionadas à engenharia de dados de menor complexidade, promovendo a disseminação do conhecimento técnico, com o seguinte objetivo:

• Cultura de aprendizagem: Desenvolve a capacidade técnica da organização e reduz gargalos de conhecimento concentrado

Participar de reuniões com stakeholders internos para apresentar soluções, esclarecer requisitos técnicos e acompanhar o andamento dos projetos de dados, com o seguinte objetivo:

• Alinhamento estratégico: Comunicação efetiva com stakeholders garante alinhamento e evita divergências que podem comprometer os projetos

Experiência:

• Experiência mínima de 3 anos na área;

• Experiência prática com ferramentas de ETL/ELT e pipelines de dados;

• Vivência em plataformas de nuvem, preferencialmente Azure;

• Experiência em linguagens SQL e Python.

Competências e Habilidades:

Competências técnicas:

• Linguagens de programação SQL, Python e PySpark;

• Plataformas Microsoft Azure (Data Factory, Databricks, Data Lake);

• Desenvolvimento e manutenção de pipelines de dados;

• Bancos de dados relacionais e NoSQL;

• Fundamentos de big data e processamento distribuído;

• Metodologias ágeis (Scrum, Kanban);

• Controle de versionamento (Git);

• Conceitos de governança de dados e LGPD.

Competências funcionais:

• Coleta e análise de requisitos de negócio;

• Documentação técnica.

Competências comportamentais:

• Comunicação clara e objetiva;

• Trabalho em equipe e colaboração;

• Orientação para resultados e qualidade;

• Adaptabilidade e aprendizagem contínua;

• Organização e gestão de tempo.

Objetivo da posição: Executar o desenvolvimento e sustentação de pipelines (processos) de dados em plataformas de big data em nuvem para todas as áreas da empresa, coletando requisitos de negócio, implementando soluções técnicas em Azure e Databricks e apoiando na governança e qualidade dos dados, com o objetivo de contribuir com a disponibilidade, confiabilidade e performance das informações que suportam as operações e decisões corporativas

Responsabilidades:

Desenvolver e sustentar pipelines (processos) de engenharia de dados nas plataformas Azure e Databricks para todas as áreas da empresa, garantindo a disponibilidade, confiabilidade e performance das soluções de dados corporativas, com o seguinte objetivo:

• Eficiência operacional: Processos de dados automatizados, resilientes e confiáveis nas entregas aos produtos de dados;

Capturar e analisar requisitos de negócio junto às diferentes áreas da organização em demandas contínuas, propondo soluções técnicas de dados alinhadas às necessidades operacionais e estratégicas, com o seguinte objetivo:

• Alinhamento estratégico: Produtos que atenda as necessidades do negócio, evitando retrabalhos e maximizando o valor gerado

Executar testes e validações nos pipelines e sistemas de dados em projetos de média e alta complexidade, assegurando a qualidade e integridade das informações processadas, com o seguinte objetivo:

• Confiabilidade das decisões: Acuracidade nas decisões de negócio;

Monitorar a performance dos sistemas de big data em nuvem em toda a empresa, identificando oportunidades de otimização e garantindo a eficiência operacional das soluções implementadas, com o seguinte objetivo:

• Prevenção de prejuízos: Custos operacionais e tempo de resposta para áreas críticas do negócio

Apoiar a implementação de práticas de qualidade, segurança, privacidade e governança de dados em todos os projetos da organização, contribuindo para a conformidade com políticas internas e regulamentações, com o seguinte objetivo:

• Conformidade legal: Compliance e segurança dos dados são obrigatórios por regulamentações como LGPD e normas da ANVISA

Participar de projetos de migração e implementação de soluções de dados corporativas, executando atividades técnicas de acordo com cronogramas e especificações definidas, com o seguinte objetivo:

• Entrega de valor: Projetos entreguem resultados tangíveis dentro de prazos estabelecidos

Elaborar e manter documentação técnica dos pipelines, processos e soluções de dados implementadas, promovendo o compartilhamento de conhecimento e facilitando a manutenção das soluções, com o seguinte objetivo:

• Eficiência operacional: Reduz dependência de pessoas específicas e facilita manutenções futuras e transferência de conhecimento

Realizar troubleshooting e apoiar na resolução de problemas técnicos nos sistemas de dados, contribuindo para a continuidade operacional e satisfação dos usuários internos, com o seguinte objetivo:

• Continuidade operacional: Minimiza impactos em áreas críticas como supply chain, vendas e produção

Apoiar profissionais de menor experiência e outras áreas da empresa em questões relacionadas à engenharia de dados de menor complexidade, promovendo a disseminação do conhecimento técnico, com o seguinte objetivo:

• Cultura de aprendizagem: Desenvolve a capacidade técnica da organização e reduz gargalos de conhecimento concentrado

Participar de reuniões com stakeholders internos para apresentar soluções, esclarecer requisitos técnicos e acompanhar o andamento dos projetos de dados, com o seguinte objetivo:

• Alinhamento estratégico: Comunicação efetiva com stakeholders garante alinhamento e evita divergências que podem comprometer os projetos

Experiência:

• Experiência mínima de 3 anos na área;

• Experiência prática com ferramentas de ETL/ELT e pipelines de dados;

• Vivência em plataformas de nuvem, preferencialmente Azure;

• Experiência em linguagens SQL e Python.

Competências e Habilidades:

Competências técnicas:

• Linguagens de programação SQL, Python e PySpark;

• Plataformas Microsoft Azure (Data Factory, Databricks, Data Lake);

• Desenvolvimento e manutenção de pipelines de dados;

• Bancos de dados relacionais e NoSQL;

• Fundamentos de big data e processamento distribuído;

• Metodologias ágeis (Scrum, Kanban);

• Controle de versionamento (Git);

• Conceitos de governança de dados e LGPD.

Competências funcionais:

• Coleta e análise de requisitos de negócio;

• Documentação técnica.

Competências comportamentais:

• Comunicação clara e objetiva;

• Trabalho em equipe e colaboração;

• Orientação para resultados e qualidade;

• Adaptabilidade e aprendizagem contínua;

• Organização e gestão de tempo.