Data Engineer GCP Senior / Expert

Dans le cadre d’un projet stratégique autour de la valorisation des données monétiques, nous recherchons un Data Engineer Senior / Expert pour participer à la conception, au développement et à l’industrialisation de pipelines de données sur Google Cloud Platform (GCP). La mission consiste à assurer l’ingestion, la validation, le croisement, l’enrichissement et le stockage de données issues de sources multiples au sein d’un Data Lake, ainsi qu’à automatiser la production d’agrégats journaliers, hebdomadaires et mensuels. Le consultant interviendra sur le développement et l’optimisation des traitements Big Data, la mise en place des chaînes CI/CD, l’automatisation des tests fonctionnels, la production des scripts de déploiement et la résolution des anomalies. Il contribuera également à la documentation technique, au maintien en conditions opérationnelles des solutions et à l’accompagnement des équipes d’exploitation, dans un environnement Cloud et Big Data exigeant, en collaboration avec les équipes techniques, les Product Owners et les chefs de projet, selon les méthodologies Agile Scrum et Kanban.

Profil recherché

Nous recherchons un Data Engineer Senior / Expert justifiant de plus de 9 ans d’expérience, disposant d’une solide expertise dans la conception, le développement et l’industrialisation de solutions Big Data et Cloud. Une maîtrise de Google Cloud Platform (GCP) est indispensable, ainsi qu’une excellente connaissance des environnements GKE, des solutions de stockage HDFS et GCS et des technologies de traitement de données Spark, Kafka et Scala. Le candidat devra maîtriser les outils d’orchestration Airflow / Cloud Composer, les bases de données et entrepôts de données SQL, BigQuery et BigTable, ainsi que les outils DevOps et CI/CD tels que Git, Ansible, Docker, Terraform, Jenkins et Cloud Build. Une expérience confirmée dans la conception de pipelines de données, l'automatisation des traitements, l'optimisation des performances et le maintien en conditions opérationnelles est attendue. Une bonne maîtrise des méthodologies Agile Scrum et Kanban, un excellent esprit d’équipe, de solides capacités d’analyse, de communication et de résolution de problèmes ainsi qu’une aptitude à travailler dans des environnements techniques complexes sont essentiels pour réussir cette mission.