Engenheiro de Dados Sênior
Summary
Senior Data Engineer at ROIT: builds and evolves data pipelines, ETL routines and integrations (RDS, external APIs) into a datalake, while monitoring data, apps and queries and running load tests. Core stack: Python, GCP, SQL/NoSQL databases, event-driven architecture; Airflow and Spark are pluses.
RESPONSABILIDADES E ATRIBUIÇÕES
Implementar sistemas e rotinas de monitoramento (dados, aplicações, queries etc);
Evoluir modelos de dados, arquitetura e construção de pipeline de dados para atender novos requisitos de engenharia e negócios;
Implementar rotinas de migração, tratamento e armazenamento de dados (ETL);
Desenvolver integrações entre diferentes fontes de dados (RDS, APIs externas e etc) a fim de centralizar em um datalake;
Implementar e conduzir testes de carga;
Monitorar pipeline de dados em execução.
REQUISITOS
Experiência com Python;
Experiência com GCP;
Experiência com integração continua e deploy em cloud;
Experiência com Datalake, Data Warehouse e Data Marts;
Conhecimento em banco de dados SQL e NoSQL;
Conhecimento em recurso das plataformas cloud;
Conhecimento em arquitetura orientada a eventos.
Será um diferencial ter experiência em:Vivência em projetos de streaming;
Experiência com Airflow;
Processamento distribuído de dados (Spark ou similares).
Skills
Sign in to read and join the discussion.