Data Engineer Senior - Databricks - Paris (IT) / Freelance

Dans le cadre d'un renforcement d'une équipe Data pour un de nos clients, nous recherchons un Data Engineer Senior spécialisé Databricks pour intervenir sur des projets de transformation et d’industrialisation des plateformes Data.

Vous participerez à la conception, au développement et à l’optimisation de pipelines de données robustes, performants et scalables, dans des environnements Lakehouse et Cloud.

Vos principales responsabilités seront :

• Concevoir, développer et maintenir des pipelines de données sur Databricks.

• Développer des traitements distribués avec Apache Spark / PySpark.

• Assurer l’ingestion, la transformation et la mise à disposition des données.

• Concevoir et faire évoluer les différentes couches d’un Data Lake / Lakehouse.

• Mettre en œuvre les bonnes pratiques Medallion Architecture.

• Travailler avec Delta Lake / Delta Tables.

• Participer à la conception et à l’évolution de l’architecture Data.

• Optimiser les performances et la scalabilité des traitements.

• Industrialiser les développements et les déploiements.

• Mettre en place et maintenir les pipelines CI/CD.

• Utiliser Git pour la gestion, le versioning et la revue du code.

• Contribuer à l’automatisation et, lorsque nécessaire, aux pratiques Infrastructure as Code.

• Participer à l’amélioration continue de la plateforme Data et aux choix techniques.