Data Engineer (Python) |JR (Remote)
Summary
The Data Engineer will migrate existing Alteryx workflows to a cloud-native AWS environment using AWS Glue, Spark, and Python. The role involves re-engineering data pipelines, ensuring performance and scalability, and validating functional results against legacy systems.
- Engenheiro de Dados/Desenvolvedor na migração de workflows e códigos desenvolvidos em Alteryx para a plataforma AWS, utilizando AWS Glue.
- Será responsável por reestruturar pipelines de dados, adaptar lógicas existentes para um ambiente cloud-native e garantir a performance, escalabilidade e governança das soluções implementadas.
- Executar testes necessários, identificando inconsistências e efetuando a correção;
- Atuar no processo de validação funcional e técnica, comparando resultados entre o legado e a nova implementação.
- Realizar handover do fluxo migrado com a área responsável do cliente;
- Experiência com Python; Spark;
- Experiência com SQL;
- Experiência com AWS (Glue)
- Experiência com orquestração e integração com os domínios de dados do Mesh.
Requisitos Desejáveis:
- Desejável experiência com: Amazon S3; AWS - Athena; AWS EMR; AWS Glue; AWS Redshift;
- Desejável conhecimento em Alteryx; para atuar na reescrita e adaptação dos fluxos para tecnologias do ecossistema de dados;