Data Engineer GCP: Build Data Pipelines & Cloud Ops
Summary
Data engineer on the DatOps project within a large banking group's IT department: building new data ingestion flows, preparing and transforming data, and maintaining pipeline management tooling alongside the devops team. Core stack: GCP, BigQuery, Cloud Storage, SQL, Python (Pandas, Dask), Bash, Git.
Nous recherchons pour le compte de notre client dans le domaine de la banque, un(e) Data Engineer GCP.
Environnement technique
GCP, BigQuery, Cloud Storage, SQL, Python (orienté objet), Pandas, Dask, Bash scripting, Git, méthodologie Agile/SCRUM. Un plus : Cloud Functions, SAS, Alteryx, XLD/XLR, ControlM, Hadoop, Spark.
Contexte
Au sein de la direction IT d'un grand groupe bancaire, l'équipe Technologies & Opérations met à disposition des différents pôles métiers (transformation, workplace, banque de proximité) l'ensemble des applications nécessaires à leur activité. Le consultant interviendra sur le projet DatOps, en soutien à l'équipe de production applicative et devops, pour répondre aux besoins techniques exprimés par les métiers.
Missions
Mettre en place de nouveaux flux d'ingestion et réaliser les travaux de préparation et transformation de données
Faire évoluer et maintenir les outils de gestion des pipelines de données
Relayer auprès de l'équipe devops les besoins d'évolution de la plateforme
Compétences attendues
GCP, BigQuery, Cloud Storage, SQL, Python orienté objet, Pandas, Dask, Bash, Git, Cloud Functions, SAS, Alteryx, XLD/XLR, ControlM, Hadoop, Spark, Agile/SCRUM, Anglais professionnel