Databricks Data Engineer | Senior (Remote)
Summary
Build and maintain scalable data pipelines using Databricks, Python, and Azure services, focusing on ETL/ELT, data modeling, and governance for analytics and AI initiatives.
- Desenvolver e manter pipelines de ingestão, transformação e disponibilização de dados;
- Modelar e estruturar dados em ambientes Data Lake e Data Lakehouse;
- Desenvolver processos de ETL/ELT utilizando Databricks, Python e Azure Data Factory.
- Integrar dados provenientes de APIs, bancos de dados e arquivos estruturados e não estruturados;
- Atuar em projetos envolvendo SAP Datasphere e Azure Data Lake Storage (ADLS);
- Desenvolver soluções para processamento de dados com foco em performance, qualidade e governança;
- Participar de iniciativas de IA Generativa, como estruturação de bases para RAG e processamento de documentos;
- Colaborar com equipes multidisciplinares na evolução de soluções de dados.
- Ensino superior completo em Tecnologia da Informação ou pós-graduação em TI (mínimo de 360 horas reconhecidas pelo MEC);
- Experiência avançada com Databricks;
- Sólidos conhecimentos em modelagem de dados;
- Experiência com Python e SQL;
- Conhecimento em Azure Data Factory e Azure Data Lake Storage (ADLS);
- Experiência com SAP Datasphere;
- Vivência com bancos de dados relacionais, como SQL Server e Oracle;
- Experiência na construção e manutenção de pipelines de dados escaláveis e confiáveis;
- Diferencial: Conhecimento em Apache Spark, Airflow, Kafka ou dbt, experiência com arquiteturas Data Lake e Data Lakehouse, vivência com integrações via APIs, experiência em projetos de IA Generativa, RAG e processamento de documentos, conhecimento em outras plataformas cloud e ecossistemas de dados modernos.