Data Engineer (IT) / Freelance
Summary
Freelance Data Engineer mission for a food-industry (agroalimentaire) client in Nantes, France, joining the team in charge of AI topics. Day to day: build and industrialize ingestion/transformation pipelines to a GCP/BigQuery platform, migrate from legacy Teradata/Informatica, and automate deployments with IaC and CI/CD using Python and SQL.
Notre client dans le secteur Agroalimentaire recherche un/une Data Engineer H/F
Description de la mission :
Pour renforcer son équipe en charge des sujets IA notre client recherche un freelance Data Engineer dans l'environnement GCP.
Amont d'étude et structuration des données
Cadrer les besoins métiers et les traduire en spécifications techniques data.
Analyser et cartographier les sources de données (dont le legacy Teradata), concevoir les modèles de données et définir les règles de transformation et de qualité.
Industrialisation
Développer, déployer et maintenir les pipelines d'ingestion et de transformation vers le socle GCP / BigQuery.
Industrialiser les solutions issues des POC : passage à l'échelle, optimisation des traitements, des performances et des coûts.
Automatiser les déploiements (IaC, CI/CD) et assurer la supervision, la fiabilité et la sécurité des flux en production.
Workflow, process et outillage
Concevoir les workflows de bout en bout (chaînes de traitement, ordonnancement, procédures d'exploitation) et les interfaces d'échange avec les applications consommatrices.
Contribuer aux standards et bonnes pratiques DataOps de la Data Factory, documenter et diffuser les compétences auprès des équipes.
Langages & frameworks
Python, SQL
Cloud & data
Google Cloud Platform (GCP), BigQuery, services d'ingestion GCP
ETL / intégration
Informatica, Teradata (existant / migration)
Système
Environnement Linux (shell scripting)