Data Engineer - Hadoop - Freelance (H/F)
Posted Updated
Taux journalier (TJM): 470
Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par le développement et le traitement des données, capable de s'adapter à un environnement dynamique et en constante évolution, le candidat doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes.
Les tâches suivantes seront confiées au consultant :
*
Mettre en œuvre de nouvelles ingestions de données, data prep/transformation
*
Maintenir et faire évoluer nos outils de gestion des pipelines de données (Pyspark + shell scripting)
*
Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme
- Excellente maîtrise de la plateforme Hadoop, ainsi que du développement en Python/PySpark et Hive. Une bonne connaissance de SQL, GIT, Jenkins, Jira, et du shell scripting sous Unix/Linux est également nécessaire.
- Maîtrise de l'anglais, tant à l'écrit qu'à l'oral.
- Expérience dans des environnements agiles, en particulier avec la méthodologie SCRUM.
- Connaissances et expériences avec des outils et technologies tels que Indexima, Alteryx, Altair, GCP/Big Query, ainsi que des bibliothèques Python orientées API seraient des atouts appréciables.
- Capacité à rédiger des spécifications techniques claires et précises.
- Dynamisme, excellent relationnel et capacité à travailler en équipe.
- Force de proposition et curiosité technique pour explorer de nouvelles solutions et technologies.
Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par le développement et le traitement des données, capable de s'adapter à un environnement dynamique et en constante évolution, le candidat doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes.
Les tâches suivantes seront confiées au consultant :
*
Mettre en œuvre de nouvelles ingestions de données, data prep/transformation
*
Maintenir et faire évoluer nos outils de gestion des pipelines de données (Pyspark + shell scripting)
*
Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme
- Excellente maîtrise de la plateforme Hadoop, ainsi que du développement en Python/PySpark et Hive. Une bonne connaissance de SQL, GIT, Jenkins, Jira, et du shell scripting sous Unix/Linux est également nécessaire.
- Maîtrise de l'anglais, tant à l'écrit qu'à l'oral.
- Expérience dans des environnements agiles, en particulier avec la méthodologie SCRUM.
- Connaissances et expériences avec des outils et technologies tels que Indexima, Alteryx, Altair, GCP/Big Query, ainsi que des bibliothèques Python orientées API seraient des atouts appréciables.
- Capacité à rédiger des spécifications techniques claires et précises.
- Dynamisme, excellent relationnel et capacité à travailler en équipe.
- Force de proposition et curiosité technique pour explorer de nouvelles solutions et technologies.