Data engineer Hadoop-
Summary
A data engineer in Paris who implements and maintains a Hadoop-based datalake: building new data ingestions and transformations, evolving pipeline management tools with PySpark and shell scripting, and coordinating platform changes with the devops team.
Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les evolutions du datalake. Passionné par le développement et le traitement des données, capable de s’adapter à un environnement dynamique et en constante évolution, le candidat doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes.
Les tâches suivantes seront confiées au consultant :
Mettre en œuvre de nouvelles ingestions de données, data prep/transformation
Maintenir et faire évoluer nos outils de gestion des pipelines de données (Pyspark + shell scripting)
Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme