AWS Data Engineer | Senior (Remote)
Posted Updated 3
views
- Atuar no desenvolvimento e evolução de uma plataforma Data Mesh self-service para compartilhamento governado de dados em ambiente AWS;
- Projetar integrações com engines de consumo de dados, principalmente Databricks, além de Glue ETL, Athena/Presto/Trino e Spark;
- Desenvolver e manter APIs REST e serviços backend, garantindo segurança, versionamento, testes e qualidade em produção;
- Evoluir mecanismos de virtualização, contratos de dados e compartilhamento entre produtores e consumidores;
- Implementar automações e integrações utilizando Python, Java, AWS Lambda e arquiteturas orientadas a eventos com SNS/SQS;
- Administrar e integrar componentes AWS como S3, Glue Catalog, Lake Formation e IAM em ambientes multi-account;
- Automatizar provisionamento de recursos, permissões e fluxos de governança de dados;
- Apoiar decisões de arquitetura, documentação técnica, observabilidade da plataforma e evolução contínua do produto.
- Experiência sólida como Engenheiro(a) de Dados Sênior em ambientes AWS e plataformas de dados distribuídas;
- Domínio de AWS: S3 (Access Points e políticas), Glue Catalog/ETL, Lake Formation (grants, LF-Tags, cross-account) e IAM (roles e políticas);
- Experiência com Databricks, Unity Catalog, integração com S3 e, idealmente, Glue Catalog/Lake Formation;
- Conhecimento avançado em Python para APIs, automações e engenharia de dados;
- Sólida experiência com Java para manutenção de serviços backend;
- Experiência com desenvolvimento e sustentação de APIs REST em produção;
- Conhecimento avançado em SQL e engines distribuídas como Spark, Athena, Presto ou Trino;
- Experiência com arquiteturas orientadas a eventos utilizando SNS, SQS e Lambda;
- Conhecimento de conceitos Data Mesh, governança de dados e contratos de dados;
- Desejável experiência com PostgreSQL, Terraform/CloudFormation/CDK, EMR, Spark, AWS Bedrock e ambientes AWS multi-account.