Data Engineer - GCP | PL (Hybrid/SP)
Summary
Build and maintain scalable, reliable data pipelines on GCP using Spark, Airflow, Kafka, DBT, and SQL/NoSQL databases, implementing Data Lake and Lakehouse architectures.
- Construção e manutenção de pipelines de dados escaláveis e confiáveis, utilizando tecnologias modernas de processamento distribuído para garantir a ingestão, transformação e disponibilização de dados com qualidade e performance;
- Trabalhar com Apache Spark, Airflow, Kafka, DBT, além de bancos SQL/NoSQL (PostgreSQL, MongoDB, Cassandra) e plataformas cloud (GCP - BigQuery);
- Implementando arquiteturas de Data Lake e Data Lakehouse;
- Otimização e redução de custos no ambiente produtivo;
- Experiência e conhecimento avançado em GCP (BigQuery);
- Experiência com Modelagem de dados;
- Esperiência com Apache Spark,
- Experiência com Airflow;
- Experiência com DBT;
- Experiência com bancos SQL/NoSQL (PostgreSQL, MongoDB, Cassandra);
- Experiência com plataformas cloud (BigQuery);
- Experiência com a implementando arquiteturas de Data Lake e Data Lakehouse;
- Conhecimento em Kubernetes;
- Conhecimento em Kafka;
- Desejável - Vivência prática do uso de agentes de IA, visando automação de processos;