Data Engineer Python / Spark – Google Cloud Platform (IT) / Freelance
Summary
Freelance data engineer mission in Paris on a climate/physical risk project for credit risk monitoring: designing Python/Spark data pipelines on Google Cloud Platform (BigQuery, Dataproc, Cloud Composer) to ingest, aggregate and expose data from multiple sources, contributing to DevOps practices (Terraform, Jenkins, XL Deploy).
Contexte
Dans le cadre d’un projet stratégique autour de la gestion des risques climatiques et physiques, notre client recherche un Data Engineer Python / Spark pour contribuer à la mise en place d’une solution permettant d’ingérer, agréger et exposer des données issues de sources multiples afin de produire des reportings métier liés à la surveillance du risque de crédit.
La mission s’inscrit au sein d’une équipe experte et engagée, sur un projet à forte visibilité basé sur Google Cloud Platform (GCP).
Une expérience dans le domaine du risque de crédit est appréciée.
Missions
Concevoir et développer des solutions Data en Python / Spark.
Participer à l'intégration de données provenant de sources multiples.
Exploiter les services Data & Compute de Google Cloud Platform.
Contribuer à l'ingestion, l'agrégation et l'exposition des données.
Participer à la mise en œuvre et à l'évolution des pipelines Data.
Collaborer avec les équipes techniques et métier du projet.
Contribuer aux pratiques DevOps et à l'industrialisation des solutions.
Profil recherché
Expertise technique indispensable :
Python / Spark
BigQuery
Dataproc
Cloud Composer
Cloud Functions
Cloud Run Jobs
Google Cloud Storage (GCS)
DevOps
XL Deploy (XLD)
Terraform
Jenkins