Engenheiro de Dados Sênior | Databricks, Python e PySpark (PJ)
Posted
Description
📍 Modelo de atuação: Remoto - Brasil
💼 Contratação: PJ
Qual será o seu papel? 😉
- Projetar, desenvolver e manter pipelines de dados (ETL/ELT), garantindo qualidade, integridade, escalabilidade e confiabilidade.
- Integrar dados provenientes de APIs, bancos de dados, sistemas corporativos, arquivos e serviços em nuvem.
- Desenvolver e otimizar processos de ingestão e transformação utilizando Databricks, Apache Spark e PySpark.
- Estruturar e otimizar arquiteturas Data Lake, Data Warehouse e Lakehouse.
- Desenvolver soluções de processamento de dados em batch e streaming.
- Criar e gerenciar notebooks, Jobs e Workflows no ambiente Databricks.
- Implementar práticas de monitoramento, observabilidade, governança e validação da qualidade dos dados.
- Desenvolver e otimizar consultas SQL e modelos de dados.
Esperamos que você tenha 😊
- Experiência em análise exploratória de dados (EDA), identificação de padrões e interpretação de resultados.
- Conhecimento no desenvolvimento, treinamento, validação e otimização de modelos estatísticos e de Machine Learning.
- Experiência com algoritmos de classificação, regressão, agrupamento, previsão de séries temporais e detecção de anomalias.
- Conhecimento em Feature Engineering e seleção de atributos.
- Capacidade de avaliar modelos por meio de métricas de desempenho e técnicas de validação.
- Experiência na disponibilização e integração de modelos analíticos em ambientes produtivos, APIs ou dashboards.
- Capacidade de traduzir necessidades de negócio em soluções analíticas orientadas a dados.
Será um diferencial se você tiver 👏 | Arquitetura, Integração e Cloud
- Experiência com arquiteturas escaláveis para processamento e armazenamento de grandes volumes de dados.
- Conhecimento em plataformas de nuvem, como Google Cloud Platform (GCP), AWS ou Azure.
- Experiência na integração do Databricks com serviços cloud, bancos de dados e ferramentas analíticas.
- Conhecimento em versionamento, automação e práticas de CI/CD.
- Participação em definições arquiteturais e decisões técnicas relacionadas a plataformas de dados.
- Facilidade de colaboração com equipes de desenvolvimento, infraestrutura, Inteligência Artificial e áreas de negócio.
Skills
Sign in to read and join the discussion.