Engenheiro de dados Sr.
Summary
Senior Data Engineer at UOL EdTech, defining and sustaining a Databricks-on-AWS Lakehouse (Medallion architecture), building batch/streaming ETL/ELT pipelines, dbt transformations, data contracts, and governance, while acting as the team's technical reference for DataOps and CI/CD. Hybrid role, 3 days/week in São Paulo.
Descrição da vaga
Estamos em busca de pessoas apaixonadas por educação e tecnologia!
Queremos que você saiba atuar em um ambiente que exige a união de múltiplas competências e experiências e com foco no resultado para deixarmos nosso legado no mundo.
Se você, assim como nós, tem paixão por educação e tecnologia, o UOL EdTech é para você! 🧡
Confira essa oportunidade e vem ser #EdTecher!
Responsabilidades e atribuições
- Definir, evoluir e sustentar a arquitetura de dados (Data Lake / Data Warehouse / Lakehouse) e o desenho em camadas (Medallion), garantindo padrões de governança, segurança, qualidade e confiabilidade.
- Projetar e implementar pipelines de dados (ETL/ELT) em batch e streaming, integrando múltiplas fontes (APIs, bancos, eventos e arquivos) com foco em performance, monitoramento e observabilidade.
- Atuar de forma protagonista na entrega da camada analítica conectando integração/refino (Silver) a produtos de dados reutilizáveis para negócio, analytics e ciência de dados.
- Desenvolver e evoluir transformações com dbt, priorizando código modular, versionado, testável e documentado (incluindo macros e modelos incrementais quando aplicável).
- Implementar Data Contracts, testes automatizados e práticas que reduzam rupturas em consumo downstream (dashboards, datasets e aplicações) por mudanças inesperadas na origem.
- Atuar como referência técnica no time, promovendo DataOps, Git/PRs, CI/CD, documentação e padrões de engenharia; apoiar integrações com IA/ML por meio de bases limpas, estáveis e bem definidas.
Requisitos e qualificações
- Experiência sólida como Engenheiro(a) de Dados Sênior em plataformas e pipelines de dados em ambiente corporativo.
- Experiência prática com Databricks em AWS, incluindo desenvolvimento, operação e monitoramento de notebooks, jobs, workflows e pipelines de dados.
- Domínio de SQL, Python e PySpark/Spark, com capacidade de escrever consultas performáticas e desenvolver transformações complexas para processamento e análise de dados.
- Experiência com arquitetura Lakehouse, Delta Lake e arquitetura Medallion (Bronze/Silver/Gold), incluindo processamento incremental, evolução de schema e otimização de performance.
- Conhecimento dos principais serviços AWS utilizados em plataformas de dados, especialmente Amazon S3, IAM e AWS Glue, incluindo desenho e operação em nuvem.
- Experiência com ingestão e orquestração de dados em batch, incremental e streaming, incluindo CDC e uso de Databricks Workflows/Lakeflow Jobs ou ferramentas equivalentes.
- Experiência com governança e segurança de dados em Databricks, especialmente Unity Catalog, controle de acesso, lineage e organização de catálogos e schemas.
- Experiência com arquitetura de dados e modelagem dimensional (Kimball/Star Schema), além de integração com bancos relacionais (SQL Server, Oracle) e não relacionais (MongoDB).
- Experiência com qualidade e confiabilidade de dados, incluindo Data Contracts, testes automatizados, monitoramento e observabilidade de pipelines.
- Domínio de Git e processos de Pull Request / code review, além de CI/CD aplicado a projetos e pipelines de dados.
Informações adicionais
Para se destacar nessa posição, seria legal se você também tivesse:
- Mindset de engenharia -paixão por automação, qualidade de código e documentação; forte ownership sobre dados e plataforma.
- Conhecimento em Python para automações, integrações e rotinas de engenharia de dados.
- Conhecimento em práticas de DataOps e governança (LGPD).
- Disponibilidade para atuar em modelo híbrido (3x na semana) em São Paulo - SP.
Skills
- Analytics
- API
- AWS
- Aws Glue
- CI/CD
- Data Engineering
- Data Lake
- Data Pipelines
- Data Science
- Data Warehousing
- Databricks
- DataOps
- dbt
- Delta Lake
- Dimensional Modeling
- ELT
- ETL
- Git
- IAM
- Lakehouse
- Lgpd
- Machine Learning
- MongoDB
- Observability
- Oracle
- PySpark
- Python
- S3
- Spark
- SQL
- SQL Server
- Test Automation
- Unity
- Unity Catalog
Sign in to read and join the discussion.