Data Engineer - GCP | SR (Hybrid/SP)
Summary
Builds and maintains scalable data pipelines using distributed processing tech (GCP, Spark, Airflow) to ingest, transform, and deliver high-quality data. Focuses on database organization, data modeling, API integrations, and migrating to cloud platforms like BigQuery or Microsoft Fabric.
- Construir e manter pipelines de dados escaláveis e confiáveis, utilizando tecnologias modernas de processamento distribuído para garantir a ingestão, transformação e disponibilização de dados com qualidade e performance;
- Organização e Estrutura das Bases de Dados e Modelagem de Dados;
- Gestão de Tabelas de Equivalência (DE/PARA);
- Conexão Direta com Fontes (APIs);
- Migração Estratégica para BigQuery (BQ) ou Microsoft Fabric;
- Estruturar modelos de IA para geração de insights estratégicos após a centralização dos dados;
- Experiência e conhecimento avançado em GCP (BigQuery);
- Experiência com Apache Spark;
- Experiência com Airflow;
- Conhecimento em Kafka;
- Conhecimento em DBT;
- Experiência com bancos SQL/NoSQL (PostgreSQL, MongoDB, Cassandra);
- Experiência com plataformas cloud (Databricks, AWS Glue, BigQuery);
- Experiência com implementação de arquiteturas de Data Lake e Data Lakehouse;
- Desejável conhecimento na estruturação de modelos de IA;