AWS Data Engineer | Senior (Remote)
- Desenvolver novas integrações da plataforma com engines de consumo de dados, com foco em Databricks, Glue ETL e AWS Lambda;
- Evoluir APIs proprietárias e fluxos orientados a eventos que sustentam a plataforma;
- Implementar e automatizar o provisionamento de recursos e permissões em ambiente AWS multi-account;
- Evoluir o mecanismo de virtualização e compartilhamento de dados entre produtores e consumidores, baseado em contratos de dados;
- Garantir a observabilidade, governança e segurança da plataforma;
- Apoiar os times de produtores e consumidores no uso da solução;
- Participar de decisões de arquitetura, documentação técnica e mentoria do time.
- Experiência sólida com AWS, especialmente S3, Glue, Lake Formation e IAM;
- Vivência com Databricks, incluindo Unity Catalog e integração com Glue Catalog e Lake Formation;
- Domínio de Python para desenvolvimento de APIs e automações;
- Conhecimento sólido em Java para manutenção de APIs e serviços backend;
- Experiência no desenvolvimento e manutenção de APIs REST em produção;
- Vivência com arquiteturas orientadas a eventos utilizando SNS e SQS;
- SQL avançado e experiência com engines de consulta distribuída (Athena, Presto, Trino e Spark);
- Experiência com ambientes AWS multi-account e políticas de acesso entre contas;
- Diferenciais: Conhecimento em conceitos de Data Mesh, Data Products e governança federada, Experiência com Open Data Contract Standard, Conhecimento em PostgreSQL, Vivência com Infraestrutura como Código (Terraform, CloudFormation ou CDK), Experiência com EMR (EC2 e Serverless) e otimização de workloads Spark, Conhecimento em AWS Lambda para pipelines orientados a eventos. Experiência com Amazon Bedrock ou serviços de IA Generativa na AWS.