[FBO] Data Engineering Spark Scala - 1773 (IT) / Freelance
Summary
Build and maintain data pipelines in Spark (Scala) for a large French bank’s data engineering team, integrating batch, streaming, and API flows with Kafka, HDFS, and Cassandra.
Contexte de la mission
Poste de data engineer, experimenté à senior, avec un savoir faire significatif de realisation de traitements Spark en Scala (pas Python/Pyspark, ou alors en compétence secondaire)
Une experience de flux réalisés sur Databricks/Azure serait un plus important.
Pour intégrer une équipe de data engineering dans la filiale d'une grande banque française
ATTENTION : pas de portage d'independant, ne nous proposez que des collaborateurs que vous avez en CDI
Objectifs et livrables
Objectifs et livrables
Activités principales
Développement et intégration
- Développer et maintenir des pipelines de données sur l’infrastructure existante (batch, streaming, API)
- Concevoir, optimiser et industrialiser les traitements de données en Spark (Scala)
- Assurer l’intégration et la gestion de flux de données via Kafka et HDFS
- Exploiter et administrer des bases de données NoSQL (Cassandra)
- Gestion du run (rôle tournant)
- Surveiller la performance et la scalabilité des processus
- Prendre en charge la résolution des incidents et l’amélioration continue en production
- Escalader auprès des sachants les anomalies critiques
- Communiquer les incidents aux parties prenantes le cas échéant.
Relation métier et vulgarisation
- Participer aux ateliers métier pour comprendre les besoins et proposer des solutions adaptées
- Vulgariser et documenter les travaux réalisés pour faciliter leur appropriation par l’équipe et les parties prenantes
Profil recherché
Formation : Bac+5 en informatique, data engineering ou équivalent
Expérience : Minimum 3 ans sur un poste similaire
Compétences techniques requises
- Maîtrise du développement Spark (Scala)
- Bonne connexion de l’écosystème Big Data : HDFS, Kafka, Cassandra
- Expérience sur des architectures batch, streaming et API
- Pratique du versioning (git) et des outils d’intégration continue
- Bonus : experience en env Databricks/Azure
Compétences complémentaires (atouts)
- Databricks
- Expérience sur Airflow
- Expérience sur des environnements cloud (Azure)
- Développement Node.js
- Pratique de la CI/CD et des outils de monitoring
Savoir-être
- Esprit d’équipe, sens du service et de la communication
- Capacité à vulgariser et à transmettre ses connaissances
- Capacité d’analyse
- Autonomie, rigueur et sens de l’organisation