Data Engineer (Databricks) | PL (Remote)
Summary
Builds and maintains scalable data pipelines and platforms for a commercial and agribusiness credit system using Spark, Airflow, Kafka, and Databricks.
- Desenvolvimento de uma plataforma de Crédito Comercial e de Agronegócio;
- Elaborar modelagem funcional e de dados levando em consideração as necessidades de negócio;
- Construção e manutenção de pipelines de dados escaláveis e confiáveis, utilizando tecnologias modernas de processamento;
- Ingestão, transformação e disponibilização de dados com qualidade e performance;
- Experiência com Apache Spark para processamento distribuído de dados;
- Experiência com Apache Airflow para orquestração de pipelines de dados;
- Conhecimento em Apache Kafka para processamento e integração de dados em tempo real;
- Experiência com dbt (Data Build Tool) para transformação e modelagem de dados;
- Vivência com bancos de dados SQL e NoSQL, como PostgreSQL, MongoDB e Cassandra;
- Experiência com plataformas de dados em nuvem, como Databricks, AWS Glue e BigQuery;
- Conhecimento em implementação e manutenção de arquiteturas Data Lake e Data Lakehouse;