Data Engineer GCP
Posted Updated 4
views
Summary
Data engineer in Paris building and industrializing a GCP data platform: designing ingestion pipelines, transforming data with SQL/Python/dbt, orchestrating with Airflow/Argo Workflows, exposing data via BigQuery/GCS, and managing infrastructure with Terraform, Cloud Run, IAM, and GitLab CI/CD.
Projet
Développement et industrialisation d'une plateforme Data sur GCP permettant l'ingestion, la transformation et la mise à disposition de données pour des outils de recherche et d'analyse métier.
Activités
- Concevoir et maintenir les pipelines d'ingestion de données publiques et internes.
- Développer et industrialiser les traitements et transformations de données avec SQL, Python et dbt.
- Mettre en place et maintenir les workflows d'orchestration avec Argo Workflows / Airflow.
- Stocker, structurer et exposer les données via BigQuery et GCS, puis assurer leur connexion aux outils d'analyse métier.
- Déployer et maintenir les composants Data sur GCP, notamment via Cloud Run, et gérer les droits d'accès avec IAM.
- Industrialiser l'infrastructure avec Terraform et contribuer aux chaînes CI/CD GitLab.
- Participer au monitoring, à la gouvernance et à la qualité des données ainsi qu'à l'amélioration de l'expérience utilisateur des outils internes.