Data Engineer
Summary
Build and maintain scalable data pipelines in Python/PySpark on AWS to ingest, transform, and expose market data for anomaly detection in a fintech setting.
Créée en 2004, INVIVOO est le partenaire technologique et historique des institutions financières depuis plus de 20 ans. Nous mobilisons nos expertises technologiques et métiers au service de nos clients pour les accompagner dans le secteur de la banque, finance et de l’assurance. Nous sommes plus de 200 collaborateurs, ambassadeurs de nos valeurs : proximité, engagement, questionnement, plaisir.
Projet
Nous recherchons un Data Engineer Python (H/F) confirmé pour intervenir sur une plateforme de traitement de données de marché et de détection de comportements anormaux.
Vous intégrerez une application data orientée Big Data, reposant sur une architecture moderne dans le cloud, permettant l’ingestion, la transformation et l’analyse de flux de données issus de multiples plateformes d’échange.
Dans ce contexte, vous interviendrez sur :
- La conception et le développement de pipelines de données en Python (PySpark)
- L’ingestion et la normalisation de données de marché à grande échelle
- La mise en œuvre d’architectures de type data lake / medallion (silver & gold layers)
- L’optimisation des traitements (performance, scalabilité, coûts cloud)
- La gestion de la qualité des données (frameworks type Great Expectations)
- L’exposition des données aux différents consommateurs métiers
- La amélioration continue des frameworks (monitoring, CI/CD, tests, résilience)
- La rédaction de la documentation technique (architecture, flux, pipelines)
Environnement technique
- Bonne maîtrise de Python / PySpark pour le traitement de données massives
- Très bonne connaissance des services AWS : S3, Glue, Lambda, Step Functions, etc.
- Solide expérience en architectures Big Data et Data Lake
- Bonne maîtrise des outils de Data Quality et de catalogage des données
- Connaissances en DevOps (CI/CD, Git, automatisation)
- Bonne maîtrise de SQL
Serait un plus
- Connaissances en data visualisation ou API
- Expérience en data finance / market data / trading
Profil recherché
- Première expérience confirmée en tant que Data Engineer
- Forte expertise en développement Python dans un contexte Big Data
- Très bonne maîtrise de l’écosystème AWS
- Expérience dans des environnements exigeants en volumétrie et performance
Processus de recrutement
- Une préqualification téléphonique
- Un entretien RH avec un(e) chargé(e) de recrutement
- Un entretien technique avec un expert Data (questions techniques, cas pratique)