Data Engineer GCP – Python / Spark – Risques Climatiques & Crédit
Summary
A Data Engineer builds and maintains Python/Spark data pipelines on Google Cloud Platform for a high-visibility credit-risk monitoring project: ingesting, aggregating and exposing data from multiple sources, producing business reports, and industrializing ML models and RUN maintenance.
Contexte
Le projet vise à mettre en place une solution permettant d’ingérer, agréger et exposer des données issues de sources multiples, afin de produire les rapports métiers nécessaires à la surveillance du risque de crédit.
La solution est développée sur Google Cloud Platform (GCP) au sein d’une équipe expérimentée, sur un projet à forts enjeux et à forte visibilité. Une expérience dans le domaine du risque de crédit est appréciée.
Missions principales
Le consultant interviendra notamment sur :
La conception et le développement de solutions Data sur Google Cloud Platform ;
Le développement et l’intégration de traitements Python / Spark ;
La mise en place et l’évolution des pipelines d’ingestion et de traitement de données ;
L’ingestion, l’agrégation et l’exposition de données provenant de sources multiples ;
Le développement de traitements à forte volumétrie ;
La collecte, le stockage et l’exploitation des flux de données ;
La supervision et l’intégration de données de différentes natures ;
Le contrôle de la qualité et de la sécurité des données ;
La maintenance et le suivi du RUN des applications développées ;
La maintenance des infrastructures Data associées ;
La documentation et la cartographie des différentes sources de données ;
La contribution à l’industrialisation des traitements et modèles ;
La proposition d’évolutions des infrastructures et solutions Data existantes.
La mission rattache également au rôle de Data Engineer la structuration des bases, la gestion des métadonnées et référentiels, l'industrialisation des modèles ML ainsi que leur maintien en RUN.