Engenheiro(a) de dados sr
Summary
Senior Data Engineer at Midas, a Brazilian company that builds GRC (governance, risk & compliance) software, based in Ribeirão Preto. You'll evolve and operate the company's data platform: Python/SQL ingestion pipelines, dbt-trino models over Delta Lake, Airflow orchestration, and Lakehouse performance/cost tuning with Docker and Kubernetes.
A Midas é especialista em desenvolver soluções focadas em resolver desafios dos processos de GRC, (Governança, Risco e Compliance) com excelência, devolvendo tempo de qualidade para os nossos clientes. Tempo para viver, criar e desbloquear todo potencial humano e criativo.
Se você está em busca de uma empresa inovadora, ousada e à frente do seu tempo, o seu lugar é aqui. Nosso propósito é criar um mundo onde a tecnologia nos permita ser mais humanos, automatizando tarefas repetitivas e liberando tempo para o que realmente importa: a vida.
Propósito da vaga:
Você será responsável por evoluir e operar a plataforma de dados da empresa, garantindo escalabilidade, performance, segurança, qualidade e confiabilidade no processamento e na disponibilização de dados.
Atividades e Responsabilidades:
- Desenvolver e manter pipelines de ingestão e transformação a partir de fontes variadas.
- Modelar e manter projetos dbt (dbt-trino) sobre tabelas Delta Lake.
- Implementar e orquestrar workflows no Apache Airflow 3.
- Manter a saúde do Lakehouse, otimizando consultas, pipelines e infraestrutura com foco em performance, escalabilidade e redução de custos.
- Investigar incidentes, identificar a causa-raiz (dado, pipeline ou infraestrutura) e implementar correções estruturais.
- Implementar práticas de governança, qualidade e monitoramento de dados, garantindo a confiabilidade das entregas para BI.
- Trabalhar em conjunto com as equipes de Desenvolvimento, BI e Negócio para transformar regras operacionais em dados confiáveis e documentados.
Competências técnicas:
- Experiência sólida com Python (pipelines, tratamento de dados, pandas/polars ou similar) e SQL avançado (CTEs, window functions, tuning).
- Experiência prática com Apache Airflow em ambiente de produção.
- Experiência com dbt (modelos incrementais, testes, macros).
- Vivência com arquitetura Lakehouse (Delta Lake ou Apache Iceberg) e motores SQL distribuídos (Trino/Presto ou Spark SQL).
- Experiência prática com Docker, Kubernetes e Git no dia a dia (deploy, troubleshooting, análise de logs e alocação de recursos).
- Capacidade de diagnosticar problemas de ponta a ponta e documentar decisões técnicas.
Será um diferencial:
- Conhecimentos em ecossistema AWS (S3, ECR, IAM, EKS ou equivalentes em outras clouds).
- Experiência com Delta-rs/deltalake, PySpark/Spark ou Apache Kafka/CDC.
- Vivência com Apache Superset (ou outras ferramentas de BI) e noções de modelagem dimensional (star schema).
E aí, se identificou com essa oportunidade?
Junte-se a nós e faça parte de um time que valoriza inovação, superação e entusiasmo.
