Analista de Dados HíbridoSP
Description
O que buscamos: Buscamos um(a) profissional com experiência em engenharia/analise de dados para atuar no desenvolvimento e arquitetura de pipelines de dados robustos e escaláveis. O papel envolve colaboração multidisciplinar, gestão de prioridades e a construção de soluções de dados de ponta a ponta, com foco em governança e qualidade. Atuação Modelo Híbrido-Vila Olímpia/SP Responsabilidades: Projetar, desenvolver e manter pipelines de dados (batch e streaming) robustos, escaláveis e observáveis. Implementar políticas, processos e ferramentas de governança de dados, garantindo definição de padrões, responsabilização e democratização dos dados. Atuar na análise e resolução de problemas em pipelines e aplicações de dados (correção de bugs, performance tuning, incidentes). Construir e evoluir camadas de dados em arquitetura Lakehouse (bronze, silver, gold), garantindo qualidade, consistência e reutilização. Desenvolver processos de ingestão, transformação e disponibilização de dados utilizando Apache Spark, Python, PySpark e SQL. Implementar e manter fluxos de ETL/ELT e orquestração de pipelines de dados em plataformas de cloud. Utilizar e evoluir soluções em Azure Data Factory, Airflow, Databricks e Data Lake, garantindo boa integração entre sistemas de origem e camadas analíticas. Aplicar boas práticas de modelagem de dados para Data Lakes e camadas analíticas, suportando casos de uso de BI, analytics e ciência de dados. Colaborar com times multidisciplinares (produto, engenharia, dados, negócio) para entender necessidades e traduzi-las em soluções técnicas. Lidar com múltiplas prioridades concorrentes, assumindo responsabilidades de ponta a ponta e mantendo boa comunicação com stakeholders. Requisitos e Qualificações: Experiência prévia como Engenheiro(a) de Dados. Forte capacidade analítica para investigação, diagnóstico e correção de problemas em pipelines e sistemas de dados. Experiência em linguagens de programação e ferramentas relevantes, incluindo Python/PySpark e SQL. Conhecimento sólido em Azure Data Factory, Airflow, Databricks e Data Lake. Conhecimento sólido em Arquitetura de Dados. Conhecimento sólido em Git Flow. Conhecimento sólido em Testes unitários (Unittest, Pytest, etc. ) e funcionais. Conhecimento sólido em Bancos de dados relacionais (SQL Server, Oracle, etc. ). Conhecimento sólido em ETL/ELT e orquestração de pipelines de dados. Conhecimento sólido em Modelagem de dados para Data Lakes/Lakehouse. Conhecimento sólido em Camadas do Lakehouse (bronze, silver, gold ou equivalente). Conhecimento sólido em Integração e consumo de APIs REST para ingestão e disponibilização de dados. Experiência prática em ambientes de Cloud (Azure). Experiência com fluxos de ingestão de dados em batch e streaming. Experiência com ferramentas de streaming de dados, como Kafka. Habilidade para trabalhar em ambiente dinâmico, com múltiplas demandas simultâneas, assumindo responsabilidades de ponta a ponta. Diferenciais: Certificações Databricks e Azure. Experiência com arquitetura orientada a eventos e padrões de streaming. Vivência com ferramentas de observabilidade de dados (data quality, data lineage, monitoring). Conhecimento de boas práticas de segurança e privacidade de dados. Experiência em ambientes de alta criticidade e grande volume de dados. Vivência em times ágeis (Scrum, Kanban, etc. ). Esteira DevOps CI/CD. Descrição comportamental: Procuramos uma pessoa que: Goste de trabalhar em equipe e seja colaborativa em suas atribuições. Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento. Transforme ideias em soluções criativas e busque qualidade em toda sua rotina. Tenha habilidades de resolução de problemas. Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo. Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico. Big enough to deliver – small enough to care. #VempraGFT #LetsGoBeyond #ProudToBeGFT.
Skills
- Airflow
- Analytics
- API
- Azure
- Azure Data Factory
- CI/CD
- Cloud
- Data Governance
- Data Lake
- Data Lineage
- Data Modeling
- Data Pipelines
- Data Quality
- Data Science
- Databricks
- DevOps
- ELT
- ETL
- Event Driven Architecture
- Git
- Kafka
- Kanban
- Lakehouse
- LiDAR
- Observability
- Oracle
- PySpark
- pytest
- Python
- RDBMS
- REST
- Scrum
- Spark
- SQL
- SQL Server
- Unit Testing