Data Engineer Hadoop / PySpark H/F
Summary
Data engineer implementing and evolving a banking/insurance client's data lake: building new data ingestions, writing data preparation and transformation jobs, and maintaining data pipelines and platform tooling. Core stack is Hadoop with Python/PySpark and Hive, plus SQL, Shell, Git, Jenkins and Jira.
Missions à réaliser
En lien avec l’équipe de production applicative / DevOps, vous serez en charge de la mise en œuvre technique des évolutions du Data Lake. Vous interviendrez sur l’ingestion, la préparation et la transformation des données ainsi que sur l’évolution des pipelines.
Secteurs
Banque & Assurance
Ingestion et transformation des données
- Mettre en œuvre de nouvelles ingestions de données au sein du Data Lake
- Développer les traitements de préparation et de transformation des données
- Développer les traitements associés en Python, PySpark et Hive
Développement et évolution des pipelines
- Maintenir et faire évoluer les outils de gestion des pipelines de données
- Développer et maintenir les traitements en PySpark et les scripts Shell associés
- Analyser et résoudre les problématiques techniques sur le périmètre
Evolution de la plateforme Data
- Identifier les besoins d’évolution de la plateforme liés aux traitements et pipelines de données
- Formaliser et transmettre à l’équipe DevOps les demandes relatives aux évolutions de la plateforme
- Rédiger les spécifications techniques nécessaires aux évolutions mises en œuvre
Modalités
- Date de démarrage : dès que possible
- Candidats recherchés : 1
- Expérience : 5+ ans
- Type de contrat : CDI, Temps complet
- Rémunération : 50000 € - 60000 € par an selon expérience
- Localisation : 94220 Charenton-le-Pont, France
- Télétravail partiel
Le profil recherché
Compétences requises
Python pyspark hive, SQL shell linux git jenkins jira, GCP Bigquery Alteryx python
Description Du Profil
- Excellente maîtrise de l’écosystème Hadoop
- Maîtrise du développement Python, PySpark et Hive
- Bonne connaissance de SQL et du scripting Shell sous Unix/Linux
- Bonne connaissance des outils Git, Jenkins et Jira
- Expérience dans des environnements Agile / Scrum
- Connaissance d’Indexima, Alteryx, Altair, GCP / BigQuery ou des bibliothèques Python orientées API appréciée
Qualités Personnelles
- Autonomie et capacité à prendre des initiatives
- Capacité d’analyse pour résoudre des problèmes complexes
- Rigueur et aptitude à rédiger des spécifications btechniques claires et précises
- Bon relationnel et capacité à travailler en équipe
Langues
Français, Anglais
Catégories
Data Engineer
Les secteurs d'activité
Services & Systèmes d'Informations
Présentation
ATLANSE se positionne comme le partenaire de votre évolution numérique, en plaçant la responsabilité et la durabilité au cœur de sa démarche. Nous optimisons la performance de votre système d’information, en nous appuyant sur notre ressource la plus précieuse : notre capital humain.
Taille de l'entreprise
Entre 15 et 50 salariés
Type de contrat : CDI ou portage ATLANSE
Niveau d’expérience : 3 à 6 ans
Secteur : Banque
Localisation : Charenton Le Pont (94)
Langues : Français et anglais professionnels impératifs