Senior Data Engineer AWS & Data Platforms
Summary
Senior Data Engineer designing, building, and optimizing scalable data pipelines and modern data platforms on AWS (S3, Glue, Redshift, Athena, Lambda), using SQL, Python, and Spark for ETL/ELT, Data Lake/Warehouse work. Hybrid or remote role; regulated financial-sector background is a plus.
Nível Acadêmico: Ensino Superior Completo Turno/Horas -- Áreas de Atuação Profissional: TI - Projetos Descrição: 'Graduação em Ciência da Computação, Engenharia de Software ou áreas correlatas; Inglês avançado (C2), com capacidade de comunicação em ambiente internacional Experiência no desenho, desenvolvimento e sustentação de pipelines de dados escaláveis; Conhecimento avançado de SQL e Python; Experiência com processos de ETL e ELT, ingestão, integração e transformação de dados; Vivência com serviços de dados da AWS, como Amazon S3, AWS Glue, Amazon Redshift, Amazon Athena e AWS Lambda; Conhecimento de modelagem de dados e arquiteturas de Data Warehouse e Data Lake; Experiência com processamento distribuído utilizando Apache Spark ou PySpark; Capacidade para desenvolver, monitorar, otimizar e solucionar problemas em pipelines de dados; Conhecimento de práticas de qualidade, segurança e governança de dados; Vivência em ambientes Agile e colaboração com equipes multidisciplinares e distribuídas; Capacidade analítica, autonomia, comunicação clara e atenção à qualidade das entregas. Diferenciais: Experiência com Databricks ou Snowflake; Conhecimento de Apache Airflow ou ferramentas equivalentes de orquestração; Experiência com dbt; Vivência com Kafka ou outras tecnologias de mensageria e streaming; Conhecimento de Terraform e Infrastructure as Code; Experiência com Git, automação e pipelines de CI/CD; Vivência com práticas de DataOps; Participação em projetos de migração, modernização ou transformação de plataformas de dados Experiência em instituições financeiras, bancos, Wealth Management, Asset Management ou outros ambientes regulados; Certificações relacionadas a AWS, Azure, Databricks, Snowflake ou engenharia de dados. Principais responsabilidades: Desenhar, desenvolver, manter e otimizar pipelines de dados escaláveis e confiáveis. Construir processos de ingestão, integração e transformação de dados utilizando SQL, Python e tecnologias de processamento distribuído. Desenvolver e sustentar soluções de dados baseadas em AWS, utilizando serviços como Amazon S3, AWS Glue, Amazon Redshift, Amazon Athena e AWS Lambda. Apoiar a construção e a evolução de Data Lakes, Data Warehouses e plataformas modernas de dados. Implementar processos de ETL e ELT alinhados às necessidades técnicas e de negócio. Desenvolver soluções utilizando Apache Spark ou PySpark para processamento de grandes volumes de dados. Participar de discussões de arquitetura, contribuindo para a definição de soluções seguras, escaláveis e sustentáveis. Monitorar e otimizar a performance de pipelines, consultas, processos de transformação e workloads em cloud. nvestigar e solucionar problemas relacionados à ingestão, processamento, armazenamento e disponibilização de dados. Realizar análises de causa raiz e implementar ações corretivas para problemas recorrentes. Garantir a qualidade, integridade, segurança e governança dos dados ao longo dos processos de engenharia. Colaborar com arquitetos, engenheiros de software, analistas e stakeholders de negócio na definição e entrega das soluções. Apoiar projetos de migração para cloud, modernização de plataformas e evolução da arquitetura de dados. Implementar práticas de automação, versionamento, CI/CD e DataOps. Garantir aderência aos padrões técnicos, controles internos e requisitos regulatórios aplicáveis. Criar e manter documentação técnica, fluxos de dados e procedimentos operacionais atualizados. Contribuir para iniciativas de padronização, compartilhamento de conhecimento e melhoria contínua.' Habilidades: Sênior Qualquer localidade - Hibrido ou Remoto