Data Engineer H/F
Summary
Freelance Data Engineer migrating and optimizing a GCP BigQuery Data Warehouse for an aerospace/defense client, focusing on performance tuning, CI/CD pipelines, Git repository structuring, and BI migration.
Le besoin
Notre client dans le secteur Aérospatial et défense recherche un/une Data Engineer H/FDescription de la mission :Dans le cadre d'un programme de transformation Data au sein d'un acteur majeur de l'aéronautique, nous recherchons un Data Engineer GCP en freelance afin de renforcer une équipe en charge d'un projet décisionnel stratégique dédié aux opérations au sol.La mission s'inscrit dans un contexte de migration et d'optimisation d'une plateforme Data Warehouse sur Google Cloud Platform. L'objectif est d'améliorer les performances des traitements, la qualité du code et l'organisation des référentiels Git tout en réduisant la dette technique.
Missions principales
- Participer à l'évolution et à l'optimisation d'une plateforme Data Warehouse sur GCP
- Améliorer les performances des traitements et requêtes BigQuery
- Optimiser la structure, l'organisation et la maintenabilité des dépôts Git
- Contribuer à l'amélioration continue des pratiques de développement et de déploiement
- Participer à la mise en place et à l'amélioration des chaînes CI/CD
- accompagner la migration des solutions BI vers l'environnement GCP
- Collaborer avec les équipes métiers afin de comprendre et valoriser les données opérationnelles
- Participer à la réduction de la dette technique et à la définition des bonnes pratiques de développement
Environnement technique
Compétences indispensables
- Google Cloud Platform (GCP)
- BigQuery
- Git / GitHub
- CI/CD
- GitHub Actions ou outils équivalents
- Connaissances appréciées
- Data Warehouse / BI
- Optimisation de performances Data
- Méthodologies Agile (Kanban)
Profil recherché
- Minimum 5 ans d'expérience en Data Engineering
- Excellent esprit d'équipe
- Forte capacité d'intégration dans un environnement existant
- Sens de l'écoute
- Bonnes qualités de communication
- Autonomie et capacité à être rapidement opérationnel
Challenges de la mission
- Prendre en main un projet comportant plusieurs dizaines de modules
- Optimiser les performances des traitements BigQuery à grande échelle
- Structurer durablement les pratiques de développement et les dépôts Git
- Poser des bases solides pour l'exploitation de la plateforme Data sur GCP
- Réduire la dette technique tout en accompagnant les évolutions fonctionnelles
Compétences / Qualités indispensables :
- Java, Spark, GCP, Big Query
Compétences / Qualités qui seraient un + :
Expérience dans l'optimisation de plateformes Data à fort volume, Appétence pour les environnements métiers opérationnels complexes
Informations concernant le télétravail
Oui - 4 jours/semaine
Profil recherchéData Engineer d'au moins 5 ans d'expérience sur les technologies suivantes :JavaSparkGCPBig Query