Data Engineer (Alteryx | AWS) | PL (Remote)
- Manter pipelines de dados escaláveis e confiáveis, utilizando tecnologias modernas de processamento distribuído para garantir a ingestão, transformação e disponibilização de dados com qualidade e performance;
- Atuar na migração de workflows e códigos desenvolvidos em Alteryx para a plataforma AWS, utilizando AWS Glue;
- Será responsável por reestruturar pipelines de dados, adaptar lógicas existentes para um ambiente cloud-native e garantir a performance, escalabilidade e governança das soluções implementadas;
- Realizar a migração de fluxos do Alteryx para o ecossistema de dados do Data Mesh.
- Análise, reescrita e reestruturação dos programas existentes, sua adequação aos padrões de desenvolvimento definidos para o Mesh, bem como a orquestração e integração com os domínios de dados do Mesh;
- Experiência com Apache Spark, Apache Airflow, Apache Kafka e dbt, além de bancos de dados SQL e NoSQL, como PostgreSQL, MongoDB e Cassandra;
- Experiência com plataformas de dados em nuvem, incluindo Databricks, AWS Glue e BigQuery;
- Experiência na implementação de arquiteturas de Data Lake e Data Lakehouse, garantindo escalabilidade, governança e alto desempenho no processamento de dados;