Consultant Data Engineer (Databricks / IA)
Summary
Consultant Data Engineer designs and optimizes Databricks/Spark pipelines, reduces data-processing costs, and applies LLM tools to improve performance and documentation for a Lille-based client’s data-architecture overhaul.
Nous recherchons un(e) Consultant Data Engineer pour accompagner un acteur de référence dans un contexte de refonte de l’architecture Data et de transformation Data & IA.
L’objectif du projet est de challenger l’existant, optimiser les flux Data et réduire les coûts d’exploitation, tout en apportant une dynamique d’innovation autour de la performance, de l’industrialisation et des usages IA.
Responsabilités et compétences
- Analyser, challenger et optimiser les flux Data existants (performance, coûts, usages)
- Concevoir, développer et maintenir des pipelines Data sur Databricks
- Optimiser les traitements Spark afin de réduire les coûts de run
- Participer à la simplification et à la modernisation de l’architecture Data
- Mettre en place des bonnes pratiques de performance et de FinOps
- Contribuer aux sujets IA / GenAI via l’utilisation de LLM (Claude – Anthropic, GPT ou équivalent) appliqués au développement, à l’optimisation et à la documentation des flux Data
- Être force de proposition sur les choix techniques et les innovations
- Data Engineer avec une première expérience significative
- Bonne maîtrise de Databricks / Spark
- Sensibilité forte aux enjeux de coûts, performance et industrialisation
- Intérêt marqué pour l’IA générative et les LLM
- Profil curieux, pragmatique, avec une vraie envie d’apprendre et d’améliorer l’existant
- Bon relationnel et capacité à travailler en équipe
- Outils IA & GenAI : LLM (Claude – Anthropic, GPT ou équivalent)
- Environnement orienté performance, optimisation des coûts et innovation
- Démarrage ASAP (Janvier-Février)
- Localisation : Métropole Lilloise