Data Engineer PySpark / Hadoop — Datalake du financement du commerce international
Description
Vous aimez les pipelines de données qui tournent en production, et les reprendre pour qu'ils tournent mieux ? Rejoignez l'équipe technique Big Data de la banque de financement et d'investissement d'un grand groupe bancaire.
L'équipe est transverse : elle construit et fait vivre les traitements de données de cinq domaines métier (risques, financement du commerce international, conformité, finance, ESG), soit une quinzaine d'applications. Le datalake, entièrement Hadoop et hébergé sur les serveurs de la banque, a repris l'ancien entrepôt de données des prêts, lettres de crédit et garanties, dont les chaînes ETL avaient été recopiées telles quelles. La feuille de route 2026-2027 : sortir de l'ETL et réécrire les workflows en code.
Vous intervenez sur le périmètre du financement du commerce international (trade finance).
Vos principales missions :
Développer et optimiser les pipelines de données en PySpark sur la plateforme Hadoop (HDFS, Hive, Iceberg).
Analyser les workflows Informatica existants et les réécrire en code, en réutilisant les composants transverses de l'équipe.
Rationaliser les traitements pour réduire les coûts d'exploitation et les incidents de production.
Préparer l'ordonnancement Control-M avec l'équipe de production applicative.
Proposer des évolutions de l'existant : dans la plupart des cas, l'équipe choisit la refonte plutôt que le maintien du legacy.
Ce que la mission vous apporte :
Un chantier de fond : la sortie d'un ETL au profit du code, sur deux ans.
Une plateforme Big Data en production, avec des données bancaires sensibles et des utilisateurs métier exigeants.
Une équipe qui attend qu'on remette en cause l'existant et qui décide en conséquence.
Profil recherché
Data Engineer de 6 à 9 ans d'expérience, bon développeur, avec une approche industrielle : composants réutilisables, code maintenable, mise en production maîtrisée. Excellente maîtrise de PySpark et de Python ; pratique de Spark et Scala. Expérience réelle d'une plateforme Hadoop hébergée en interne (HDFS, Hive ; Iceberg apprécié) : les profils exclusivement cloud ne correspondent pas à la mission. Connaissance d'Informatica et de Control-M appréciée. Une première expérience de la donnée bancaire, idéalement en banque de financement, est un vrai plus.