Senior Data Engineer Databricks / PySpark - Freelance (H/F)
Posted
Summary
Freelance senior data engineer embedded in a product team modernizing a data platform for a large international group. Day to day: building and maintaining robust pipelines in SQL and Python/PySpark on Databricks, modeling and testing with dbt, orchestrating DAGs with Airflow/Astro, and owning RUN, monitoring and production incidents.
CONTEXTEPour accompagner un grand groupe international dans la modernisation de la plateforme Data, nous recherchons un Senior Data Engineer hands-on. Vous intégrerez une équipe produit composée d'un Product Manager, de Data Engineers et d'un Data Quality Manager. L'objectif est de garantir l'accessibilité, la fiabilité et la qualité de données à fort enjeu métier.
Missions
- Concevoir, développer et maintenir des pipelines robustes et performants
- Moderniser une stack legacy vers les nouveaux standards de la Data Platform
- Développer et optimiser les traitements en SQL et Python/PySpark
- Industrialiser, documenter et tester les modèles avec dbt
- Concevoir et monitorer des DAGs complexes avec Airflow ou Astro
- Assurer un RUN de qualité selon le principe "You build it, you run it"
- Contribuer aux choix techniques, à la qualité du code et aux pratiques CI/CD
- Garantir la qualité, la fiabilité et la gouvernance des données
- Collaborer avec les équipes produit, métier, Infra et OPS dans un environnement Agile
Outils & Environnement
- Databricks
- SQL avancé et optimisation des traitements
- Python et PySpark
- dbt
- Airflow ou Astro
- Git et les pratiques CI/CD
- RUN, monitoring et résolution d'incidents en production
- Connaissance d'AWS et de Scala (un plus)
Conditions de Travail
- Démarrage souhaité : ASAP
- Durée : Mission longue1.
- 1. Vous justifies d'une expérience significative en Data Engineering
- 2. Maîtrise de Databricks
- 3. Maîtrise de SQL avancé et optimisation des traitements
- 4. Maîtrise de Python et PySpark
- 5. Maîtrise de dbt
- 6. Maîtrise de Airflow ou Astro
- 7. Maîtrise de Git et des pratiques CI/CD
- 8. Expérience en RUN, monitoring et résolution d'incidents en production
- 9. Une connaissance d'AWS et de Scala constitue un plus
- 10. Être autonome, proactif et engagé, avec une forte appétence métier
- 11. Savoir proposer des solutions simples et efficaces, documenter les développements et communiquer avec des interlocuteurs techniques et fonctionnels
- 12. Un anglais professionnel, notamment à l'écrit, est demandé
- Type de contrat Profession libérale
- Emploi non salarié
- Salaire
- Rémunération : - /
Expérience
- Débutant accepté