Data Engineer Java F/H

Descriptif du poste:\
\
Rejoignez une grande plateforme data au sein d'un acteur majeur du secteur de la grande distribution. Vous contribuerez à la conception et au développement de services digitaux centralisés, permettant aux équipes métier d'accéder à des données fiables, accessibles et exploitables via API, tout en accélérant les traitements analytiques et renforçant l'alignement entre les besoins opérationnels et décisionnels.\
\
\
\
Vous interviendrrez dans un environnement technique moderne, basé sur le cloud et l'écosystème big data, au sein d'une équipe agile et collaborative. Vos missions porteront notamment sur des projets à forte valeur ajoutée liés à la gestion de référentiels critiques (articles, points de vente) et à l'optimisation des pipelines de données.\
\
\
\
Responsabilités :\
\
- Concevoir et développer des services de traitement de données robustes et scalables en Java et/ou Scala, en appliquant les principes de programmation fonctionnelle\
\
- Architcter et maintenir des pipelines de données complexes utilisant Apache Spark et Apache Kafka, en garantissant performance et fiabilité sur de grands volumes\
\
- Piloter l'ingestion et le traitement de flux de données en temps réel via Pub/Sub, en assurant la cohérence et la qualité des données\
\
- Optimiser les requêtes et les modèles de données dans BigQuery, en maîtrisant le SQL avancé pour extraire des insights sur des volumes massifs\
\
- Orchestrer et automatiser les workflows de données avec DBT (Data Build Tool), en structurant les transformations et les dépendances\
\
- Mettre en place et maintenir les chaînes CI/CD via GitLab CI/CD et Docker Compose, en garantissant des déploiements fiables et reproductibles\
\
- Contribuer à l'évolution de l'infrastructure cloud sur Google Cloud Platform (GCP), en suivant les bonnes pratiques de sécurité et d'optimisation\
\
- Collaborer activement avec les équipes métier, data science et infrastructure dans un contexte Agile/Scrum, en partageant les connaissances et en proposant des améliorations continues\
\
- Documenter et maintenir les standards de qualité et de performance des solutions développées\
\
\
\
Télétravail : 2 jours par semaine\
\
Localisation : Lyon\
\
Profil recherché:\
\
Indispensables :\
\
- Solide expérience en développement Java et/ou Scala (minimum 3 ans), avec une compréhension approfondie de la programmation fonctionnelle et des paradigmes réactifs\
\
- Maîtrise confirmée d'Apache Spark pour le traitement distribué de données et optimisation des performances sur de gros volumes\
\
- Expertise en Apache Kafka pour la gestion des flux de données asynchrones et la construction d'architectures événementielles\
\
- Expérience significative avec Google Cloud Platform (GCP) et maîtrise de BigQuery, incluant le SQL avancé et les optimisations de requêtes\
\
- Compétences solides en DBT (Data Build Tool) pour l'orchestration et la gestion des pipelines de transformation de données\
\
- Expérience pratique avec Pub/Sub pour l'ingestion et le traitement de flux en temps réel\
\
- Maîtrise des outils CI/CD, notamment GitLab CI/CD, et familiarité avec Docker et Docker Compose pour la conteneurisation\
\
- Bonne connaissance de l'environnement Linux et des outils ligne de commande (bash, scripting)\
\
- Expérience confirmée avec Git pour la gestion de version et les workflows collaboratifs\
\
- Capacité à travailler en méthodologie Agile/Scrum et à s'adapter à des cycles itératifs\
\
- Formation Bac+5 en informatique ou expérience professionnelle équivalente\
\
\
\
Fortement appréciés :\
\
- Expérience antérieure dans le secteur du retail, de la grande distribution ou de l'e-commerce\
\
- Excellente maîtrise de la communication écrite et orale en français\
\
- Capacité d'analyse fine et talent pour proposer des solutions architecturales adaptées aux contraintes métier et techniques\
\
- Rigueur dans le respect des délais et des standards de qualité du code\
\
- Esprit collaboratif affirmé, avec aptitude au partage de connaissances et au mentorat\
\
- Démarche proactive d'amélioration continue et de veille technologique