Data Platform Engineer - Databricks
Posted
Summary
Design, deploy, and industrialize modern data platforms on Azure Databricks: build large-scale Python/PySpark batch and streaming pipelines, support on-prem-to-cloud migrations, and drive automation with Terraform and CI/CD (Azure DevOps, GitHub Actions) for scalability, reliability, and fast time-to-market.
Dans le cadre d’une transformation data, nous recherchons un(e) Data Platform Engineer spécialisé(e) Databricks pour construire et industrialiser des plateformes data modernes, avec un fort enjeu de scalabilité, fiabilité et time‑to‑market.
Architecture & Data Platform
- Concevoir, déployer et faire évoluer des plateformes data sur Databricks (Azure principalement)
- Participer aux migrations on-premise → cloud (replatforming, refactoring)
- Définir des architectures robustes, scalables et orientées performance
- Développer et maintenir des pipelines data à grande échelle en Python (PySpark)
- Optimiser les traitements batch et streaming sur Databricks
- Garantir la qualité, la traçabilité et la supervision des flux
- Mettre en place des pratiques d’industrialisation : Infrastructure as Code (Terraform), CI/CD (Azure DevOps, GitHub Actions, etc.)
- Automatiser les déploiements et améliorer les cycles de livraison
- Tu disposes de 7 à 8 ans d’expérience en Data Engineering / Data Platform, avec une expertise solide sur Azure, notamment ADLS et Azure Databricks. Tu es à l’aise dans des environnements data complexes et sais concevoir des solutions robustes et performantes.
- Tu maîtrises parfaitement Python / PySpark et as déjà travaillé sur des pipelines data à grande échelle, avec des enjeux de volumétrie, de performance et de fiabilité. Tu évolues naturellement dans des architectures cloud modernes, en particulier des approches lakehouse.
- Tu as également une bonne expérience des sujets d’industrialisation, notamment via Terraform et les outils de CI/CD (Azure DevOps, GitHub Actions…), et tu attaches une grande importance à l’automatisation et à la qualité des déploiements.
- Enfin, tu fais preuve d’un esprit pragmatique, orienté résultat, avec une vraie capacité à arbitrer entre qualité technique et rapidité d’exécution, dans une logique de time‑to‑market.
Pourquoi les rejoindre :
- Intervenir sur des projets data stratégiques, au cœur de la transformation des organisations
- Évoluer dans un environnement tech moderne centré sur Azure & Databricks
- Avoir un impact concret sur des problématiques de performance, coût et industrialisation
- Travailler avec des équipes expertes dans une culture engineering & best practices
- Bénéficier d’un cadre favorisant l’innovation, l’autonomie et la montée en compétences