Data Engineer databricks (H/F)
Summary
A confirmed Data Engineer builds and industrializes data pipelines on Databricks (Python/PySpark, SQL) for a large international client, optimizing performance and cluster/scheduling management. The role also covers CI/CD integration, Databricks Asset Bundles adoption, Git/Azure DevOps workflows, and AI-assisted development within an 8-person agile team.
Nous recherchons pour un de nos clients un Data Engineer Databricks confirmé (H/F) dans le cadre d’un projet de transformation data au sein d’une grande entreprise internationale, vous intégrerez une équipe agile composée de 8 personnes, rattachée à la Direction Data.
Vous interviendrez sur la mise en place et l’industrialisation de pipelines de données, ainsi que sur le suivi de leur lineage jusqu’aux cas d’usage métier. Vous contribuerez également à la diffusion des bonnes pratiques autour de Databricks et des méthodes modernes de développement data.
Missions
Concevoir et développer des pipelines de données performants et évolutifs sur Databricks.
Développer les traitements en Python / PySpark et SQL.
Optimiser les pipelines existants et améliorer les temps de traitement.
Mettre en œuvre les bonnes pratiques de partitionnement et de gestion des données.
Contribuer à l’optimisation de la gestion des clusters et de l’ordonnancement des traitements.
Participer à la mise en place et à l’adoption des Databricks Asset Bundles.
Intégrer les développements dans les processus CI/CD.
Travailler avec les outils de gestion de versions et de collaboration, notamment Git ou Azure DevOps.
Contribuer à la documentation et à la standardisation des architectures et processus.
Participer à la mise en place de pratiques de développement assistées par l’IA, notamment avec GitHub Copilot et Visual Studio Code.
Apporter un support technique aux membres de l’équipe sur Databricks et les pipelines développés.
Collaborer dans un environnement agile avec des équipes françaises et internationales.