[SCH] Data Engineer Hadoop - 1965 (IT) / Freelance
Summary
Freelance Data Engineer role in Paris, embedded in a company's internal IT department (DSI) to evolve its datalake: implementing new data ingestions, performing data prep/transformation, and maintaining and improving data pipeline tools with PySpark and shell scripting, working in a SCRUM team.
Au sein de la DSI, l’entité concernée fournit aux services Technologies & Opérations les applications nécessaires à leur fonctionnement. Le consultant interviendra sur les évolutions du datalake, en lien avec l’équipe de production applicative / devops.
Missions :
- Mettre en œuvre de nouvelles ingestions de données
- Réaliser la data prep/transformation
- Maintenir les outils de gestion des pipelines de données
- Faire évoluer les outils de gestion des pipelines de données avec Pyspark et shell scripting
- Adresser à l’équipe devops les demandes relatives aux évolutions de la plateforme
- Rédiger des spécifications techniques claires et précises
- Travailler dans un environnement agile avec la méthodologie SCRUM
Profil attendu :
Le consultant doit avoir une excellente maîtrise de la plateforme Hadoop ainsi que du développement en Python/PySpark et Hive. Une bonne connaissance de SQL, GIT, Jenkins, Jira et du shell scripting sous Unix/Linux est nécessaire. La maîtrise de l’anglais à l’écrit et à l’oral est requise pour les échanges avec les interlocuteurs basés à Porto. Une expérience dans des environnements agiles, en particulier avec la méthodologie SCRUM, est attendue.