Engenheiro de Dados

Descrição:

• Levantar necessidades dos usuários finais e chave, para a captura dos itens necessários e elaboração do projeto do sistema de análise de dados, atuando na automatização das atividades e na aplicação de melhorias em processos e sistemas já existentes.

• Analisar as necessidades para a elaboração da solução de coleta, armazenamento, análise e visualização, tendo em vista os recursos técnicos disponíveis ou necessários de hardware e software. Elaborar uma documentação que descreva os dados coletados.

• Criar estruturas e modelos de dados que atendam as necessidades no âmbito dos projetos, com performance, escalabilidade, segurança e compatibilidade aos padrões estabelecidos.

• Configurar e programar mecanismos que coletam e armazenam dados para posterior tratamento e consulta, zelando pela integridade de recursos externos e internos. Atualizar os mecanismos sempre que necessário para adequação às fontes de dados.

• Processar dados coletados por meio de programação ou configuração para estruturação e higienização.

• Integrar e uniformizar dados por meio da programação da adequação aos padrões estabelecidos, possibilitando o cruzamento com outras informações, reduzindo a duplicidade sempre que possível e promovendo a continuidade do desenvolvimento para unificar e compatibilizar com informações pré-existentes.

• Maximizar a performance das aplicações através da análise de gargalos por meio de logs, painéis e outras ferramentas. Criar índices, ajustar configurações, propor melhorias e aquisições para otimizar performance, consumo de recursos e viabilizar o uso das aplicações em tempo de resposta aos usuários e na utilização dos recursos disponíveis.

• Apoiar e configurar permissões e perímetro de acesso, reduzir vulnerabilidades, colaborar na gestão de cópias de segurança, administração espaço de armazenamento, criar estruturas de dados, indexações, monitorar funcionamento de bancos de dados e outros recursos relacionados, para manter as operações e o bom uso dos recursos com segurança.

• Colaborar com os Analistas de Sistemas Seniores e com o Analista de Dados, na elaboração das funcionalidades para visualização de dados e processos no âmbito dos projetos.

• Criar e manter documentação técnica dos sistemas, bancos de dados, processos, ativos, que auxiliem a consulta posterior de técnicos, nas diversas atividades da área.

• Pesquisar e avaliar novas tecnologias, novas metodologias ou atualizações que agreguem valor aos sistemas atuais ou que possam trazer benefícios para novos sistemas.

• Monitorar recursos tecnológicos através do acompanhamento dos processos de servidores de dados por meio de painéis de gerenciamento, métricas, indicadores, logs e testes conforme a tecnologia envolvida, para garantir bom desempenho, disponibilidade e bom uso.

Outros requisitos:

Ensino Superior completo em: Sistemas de Informação, Ciências da Computação, Ciências de Dados ou áreas correlatas.

Conhecimentos e habilidades:

• Inglês Intermediário
• Lógica de programação
• Linguagens e tecnologias para visualização e análise de dados (PowerBI desktop, PowerBI Pro)
• Serviços Azure Data Factory, Azure Databricks, Data Lakehouse
• Linguagens e tecnologias para programação (Python, R)
• Serviços e Modelos de Inteligência Artificial
• DevOps (Git)
• Levantamento de Requisitos
• Desenvolvimento de aplicações de análise de dados (Analytics), BI (Business Inteligence)
• Desenvolvimento para bancos de dados SQL Server
• Conhecimento dos recursos administrativos (SQL Agent, Integration Services, Jobs SQL, T-SQL, DDL), Cloud computing, Microsoft Azure, Webservices, XML/XSD, API, JSON/Rest.