Skip to content
Search jobs inside your AI agent. Claude, ChatGPT, Claude Code, Codex, Gemini, Cursor and Grok
Connect

Blite Tecnologia

NewBe an early applicant

Engenheiro(a) de Dados Sênior

Posted

Summary

Senior data engineer building and operating end-to-end data pipelines in Databricks on Azure for a large mobility-sector client: batch and incremental ingestion, Bronze/Silver/Gold lakehouse layers, Unity Catalog governance, Azure Data Factory/Lakeflow orchestration, cost and performance tuning, API delivery, and CI/CD deploys with Asset Bundles.

A Blite é uma consultoria brasileira de tecnologia que atua em operações críticas dos setores de mobilidade, banking, varejo e indústria. Trabalhamos como extensão do time interno dos nossos clientes, e cada profissional alocado assume responsabilidade direta por uma parte da operação. A proposição de melhorias na forma de entregar software faz parte da nossa prática.

Algumas informações sobre a vaga

Estamos buscando um(a) Engenheiro(a) de Dados Sênior para atuar na construção e na operação dos pipelines de dados de um cliente de grande porte do setor de mobilidade, em Databricks sobre Azure. O cliente está posicionando a inteligência artificial no centro da operação, o que exige dados confiáveis, disponibilizados no prazo, com qualidade validada e prontos para consumo.

O(a) profissional será responsável pelos pipelines desde a ingestão até a entrega. Isso inclui a construção das cargas, a organização das camadas do lakehouse, a estabilidade do ambiente produtivo, o tratamento de falhas e reprocessamentos e o acompanhamento de custo e performance dos jobs. Como a estrutura de dados e de governança do cliente está em consolidação, a posição também envolve a definição de padrões que orientarão o trabalho do time.

Responsabilidades:

  • Construir pipelines batch e incrementais de ingestão, transformação e disponibilização de dados.
  • Organizar as camadas Bronze, Silver e Gold no Delta Lake, com uso de MERGE, OPTIMIZE e time travel.
  • Gerenciar catálogos, schemas e permissões no Unity Catalog.
  • Garantir a estabilidade dos pipelines em produção, com tratamento de falhas, reprocessamento e controle de cargas.
  • Orquestrar cargas com Azure Data Factory e Lakeflow Jobs, e configurar a ingestão gerenciada com Lakeflow Connect.
  • Integrar SQL Server, Azure Synapse Analytics e fontes on-premises ao ambiente Databricks.
  • Otimizar jobs e clusters por meio de particionamento, ajuste de joins e dimensionamento, com controle de custo e performance.
  • Modelar fatos, dimensões e SCD para consumo em ferramentas de BI.
  • Disponibilizar dados por meio de APIs para os sistemas consumidores.
  • Aplicar regras de qualidade nos pipelines e acompanhar o monitoramento e os alertas dos jobs.
  • Estruturar Databricks Asset Bundles e automatizar o deploy entre os ambientes de desenvolvimento, homologação e produção com CI/CD.
  • Participar das decisões de arquitetura de dados em Azure.
  • Reportar o andamento das entregas, os riscos e as falhas ao time e à liderança do cliente de forma tempestiva.

    • Experiência sênior em engenharia de dados, em empresas de grande porte.
    • Domínio de Databricks, Apache Spark, Python e SQL, com experiência em PySpark e Spark SQL em ambiente produtivo.
    • Otimização de jobs por meio de particionamento, ajuste de joins e dimensionamento de clusters.
    • Experiência na construção e na operação de pipelines batch e incrementais em produção, com tratamento de falhas, reprocessamento e controle de cargas.
    • Conhecimento em Unity Catalog, Delta Lake e arquitetura Medallion.
    • Experiência com Azure Data Factory, Azure Data Lake Storage Gen2, Azure Synapse Analytics e SQL Server.
    • Integração entre ambientes cloud e fontes on-premises.
    • Modelagem dimensional (fato, dimensão e SCD) para analytics.
    • Conhecimento em qualidade de dados, observabilidade, controle de acesso e linhagem.
    • Experiência com Lakeflow Connect, Lakeflow Jobs e Databricks Asset Bundles.
    • Versionamento com Git, fluxo de branches e pull requests, e esteiras em Azure DevOps ou GitHub Actions.
    • Desenvolvimento e integração de APIs para disponibilização de dados.
    • Comunicação clara com times técnicos e de negócio, incluindo apresentações à liderança.
    • Autonomia, senso de responsabilidade sobre as entregas e capacidade de manter o foco diante de mudanças de prioridade.

    Diferenciais Desejáveis

    • Certificação Databricks Data Engineer.
    • Certificação Azure Data Engineer ou Azure Solutions Architect.
    • Experiência com Lakeflow Declarative Pipelines.
    • Experiência com Terraform.
    • Experiência com Power BI ou outras ferramentas de visualização.
    • Conhecimento em práticas de Data Governance e Data Security.
    • Uso de ferramentas de inteligência artificial no desenvolvimento, como o Claude, com critério na revisão do que é gerado.

    Informações Adicionais:

    • Contrato PJ
    • Atuação 100% remota.
    • Organização própria da rotina, com disponibilidade para alinhamentos e rituais do projeto previamente agendados.
    • Equipamento disponibilizado para atendimento às políticas de segurança da informação.

    Skills

    What Senior Data Engineering jobs ask for — and how much of it you have →
    Apply

    See also

    Data Engineering jobs by country — openings, pay and top skills →