Data Engineer - Spark Pipelines (Python/Scala)
Posted Updated
Description
Act Digital France recherche un ingénieur data pour concevoir et maintenir des pipelines Spark en Python et/ou Scala, et pour industrialiser des traitements existants afin d'augmenter robustesse et performance.
Profil avec au moins 3 ans d'expérience en ingénierie de données sur des plateformes modernes, maîtrisant Python, Scala, Spark et SQL. Travail en équipe avec les Data Analysts et les métiers, dans un cadre on-premise et avec des pratiques CI/CD.
Concevoir, développer et maintenir des pipelines de traitement de données avec Spark en Python et/ou Scala. Industrialiser des traitements Data existants (scripts, notebooks) pour les rendre robustes, testables et performants. Participer à la modélisation et à l'optimisation des données sur l'environnement on-premise. Assurer la qualité, la fiabilité et la traçabilité des données (contrôles qualité, monitoring, gestion des incidents). Optimiser les performances des jobs Spark (tuning, gestion de la mémoire, partitionnement). CollaboreR avec les Data Analysts, Data Scientists et équipes métier pour comprendre les besoins et livrer des données exploitables. Contribuer aux bonnes pratiques d'ingénierie (revue de code, tests, documentation, CI/CD). Formation supérieure en informatique (Bac+3 à Bac+5) ou équivalent. Expérience minimale de 3 ans et plus en ingénierie de données sur des plateformes modernes en production.Skills
Sign in to read and join the discussion.