Data Engineer GCP
Summary
A data engineer in Paris builds pipelines moving clinical data from on-premise systems into GCP, transforms it with dbt, and manages the platform with Terraform, Argo Workflows on GKE, GitLab CI/CD, and monitoring. The role also includes developing a Flask backend portal and a metadata connector to DataGalaxy.
Missions
Mise en place de pipelines d’ingestion des données cliniques depuis les systèmes on-premise vers GCP (Python, GCS, BigQuery, Argo Workflows, Docker, GKE).
Transformation des données via dbt selon les modèles métiers définis.
Gestion de l’infrastructure cloud de la plateforme data (création des ressources, gestion des accès) avec Terraform.
Orchestration et automatisation des workflows de données sur GKE via Argo Workflows.
Développement du backend d’un portail utilisateur pour l’accès aux services de la plateforme (Flask).
Création d’un connecteur entre GCP et l’outil de dictionnaire des données pour la remontée et la restitution des métadonnées (Python, DataGalaxy).
Développement, maintenance des chaînes CI/CD (Git, Gitlab CI/CD).
Mise en place de la supervision et du monitoring des pipelines de données.
Rédaction de la documentation technique liée aux développements réalisés.
Environnement technique
GCP, GKE, Argo Workflows, BigQuery, Cloud Run, Cloud Functions, Pub/Sub, Cloud Storage
Python, Terraform, Docker, Kubernetes, SQL, Git, Gitlab CI/CD, Bash