Data Engineer (Azure/Databricks) | SR (Remote)
Summary
Build and maintain scalable data pipelines using Azure Databricks, Data Factory, ADLS, and Python to ingest, transform, and serve high-quality data for analytics and AI workloads.
- Construção e manutenção de pipelines de dados escaláveis e confiáveis, utilizando tecnologias modernas de processamento distribuído para garantir a ingestão, transformação e disponibilização de dados com qualidade e performance;
- Desenvolver modelagem de dados, utilizando Databricks, SAP Datasphere, Data Factory, Azure Data Lake Storage (ADLS), Python e BD (SQL Server, Oracle).
- Extração de dados e criação de data lake de dados e tabelas;
- Estruturar RAG dos dos contratos e demais documentos;
- Realizar ETL a partir das APIs do CXL e transforma-los e trata-los em base de dados no Databricks;
- Estruturar tabelas de dados no Databricks;
- Desenvolvimento de ETL para análise de dados estruturados e não estruturados, utilizando API para análise de arquivos e validação dos dados;
Requisitos:
- Experiência e conhecimento avançado no Databricks;
- Experiência com Data Factory, Azure Data Lake Storage (ADLS);
- Experiência na implementação de arquiteturas de Data Lake e Data Lakehouse;
- Experiência com Python, Apache Spark;
- Experiência com Airflow;
- Experiência com bancos SQL/NoSQL (PostgreSQL, MongoDB, Cassandra);
Desejável:
- Conhecimento em Kafka;
- Conhecimento em DBT;
- Conhecimento em AWS Glue, BigQuery;
- Conhecimento em AI/RAG;
- Conhecimento em SAP Datasphere;