Data Engineer Confirmé (H/F) – Lyon
Summary
Experienced Data Engineer role in Lyon: design, optimize and run Python/PySpark pipelines over tens of millions of rows, add automated tests and monitoring, support production incidents, and help migrate the platform to Databricks/Delta Lake while assisting Data Scientists. Core stack: Python, PySpark, Hadoop/HDFS, Databricks, SQL/PostgreSQL, Airflow, GitLab CI/CD.
Vous êtes un Data Engineer confirmé, passionné par le Big Data, le développement Python et les architectures Data ? Vous souhaitez contribuer à la conception, à l'industrialisation et à l'optimisation de traitements de données massives au sein d'un environnement technique exigeant et innovant ?
Vous interviendrez en collaboration avec les équipes Data, les Data Scientists, les développeurs et les référents techniques.
VOS MISSIONS
- Développement & Optimisation Data : Concevoir, développer et optimiser des pipelines Python / PySpark traitant plusieurs dizaines de millions de lignes, tout en garantissant leur performance et leur fiabilité.
- Industrialisation & Qualité : Assurer la maintenance évolutive et corrective des traitements, développer les tests automatisés et garantir la qualité du code et des données.
- Monitoring & RUN : Mettre en place des outils de supervision, suivre les performances des pipelines et contribuer à la gestion des incidents en production.
- Architecture & Cloud : Participer à la conception des architectures Data, à l'industrialisation des traitements et à la migration vers Databricks / Delta Lake.
- Agilité & Collaboration : Accompagner les Data Scientists dans l'industrialisation de leurs développements, partager les bonnes pratiques et contribuer à l'amélioration continue des solutions.
LE PROFIL RECHERCHÉ
Vous disposez d'au moins 5 ans d'expérience en Data Engineering, avec une expertise significative en développement et mise en production de pipelines PySpark sur de gros volumes de données.
Vous maîtrisez :
- Big Data & Développement : Python, PySpark, Spark, Hadoop / HDFS.
- Cloud & Data Platform : Databricks, Delta Lake, architectures Data Lake.
- Bases de données : SQL, PostgreSQL.
- Orchestration & DevOps : Airflow, GitLab, GitLab CI/CD, tests automatisés.
- Monitoring & Data Quality : Supervision des traitements, optimisation des performances, contrôles qualité et gestion des incidents.
- Outils & Méthodologies : Jira, Confluence, Power BI, méthodes Agiles.
Une expérience sur les données géospatiales (Sedona, GeoPandas) constitue un atout supplémentaire.
Vous êtes reconnu pour votre autonomie, votre rigueur, votre capacité d'analyse et votre esprit d'équipe, ainsi que pour votre aptitude à proposer des solutions techniques robustes et à accompagner les équipes dans leurs choix d'architecture.
Localisation : Lyon | Démarrage souhaité : Décembre 2026
Nous valorisons la diversité et l'inclusion. Tous nos postes sont ouverts aux personnes en situation de handicap.
Skills
Sign in to read and join the discussion.