Skip to content
Search jobs inside your AI agent. Claude, ChatGPT, Claude Code, Codex, Gemini, Cursor and Grok
Connect

LOMEGARD

Data Engineer AWS / Scala Spark

Posted 55 views

Summary

Senior data engineer joining a client's central Data Platform team in Paris (on-site): keeping a centralized AWS data lake and Scala Spark processing platform running, fixing production incidents, and building/orchestrating robust data pipelines with Airflow, Kafka/MSK, GitLab CI/CD and Terraform.

Nous recherchons un Data Engineer senior disposant d’une forte expertise sur les environnements AWS, Scala et Spark, idéalement acquise dans des contextes de forte volumétrie de données.

Au sein d’une direction Data centrale, l’équipe Data Platform conçoit, développe et maintient une plateforme data centralisée, sécurisée, scalable et performante, destinée à soutenir les usages data transverses des différentes directions métier. Elle opère notamment un data lake hébergé sur AWS, une infrastructure de traitement de données basée sur Scala Spark, ainsi qu’un écosystème d’orchestration et d’industrialisation des jobs via Airflow. L’équipe assure également la maintenance et l’évolution d’une plateforme Dataiku.

La mission s’inscrit dans un environnement agile, en interaction avec des équipes produit, data, BI, analytics, data science et métiers.

Le consultant interviendra sur deux volets principaux.

Maintien en condition opérationnelle

  • Contrôler la disponibilité des données et des services de la plateforme

  • Analyser les incidents et anomalies de production

  • Répondre aux demandes ad hoc liées aux données

  • Développer les correctifs nécessaires

  • Contribuer à la qualité, la fiabilité et l’exploitation industrielle de la plateforme

  • Communiquer avec les utilisateurs et les parties prenantes

Build & évolution des pipelines data

  • Concevoir et développer des pipelines de données robustes et performants

  • Mettre en place des flux d’acquisition, transformation et export de données

  • Réaliser des traitements distribués en Scala Spark

  • Participer à la modélisation des données

  • Développer les tests unitaires et d’intégration

  • Gérer l’ordonnancement et les dépendances entre traitements

  • Participer aux revues de code et au respect des standards

  • Réaliser les déploiements sur les différents environnements

  • Maintenir la documentation technique et fonctionnelle

Profil recherché

Le profil devra également avoir une forte appétence fonctionnelle, afin de comprendre les enjeux métier, challenger les besoins et échanger efficacement avec des interlocuteurs variés.

5 ans d'expérience minimum

  • Expertise avancée en Scala Spark

  • Solide expérience sur AWS Data & Analytics

  • Bonne maîtrise de Python et SQL

  • Expérience sur Airflow

  • Connaissance de Kafka / MSK

  • Pratique de GitLab, CI/CD, Maven

  • Connaissances en Terraform

  • Capacité à travailler sur des problématiques de performance, sécurité, coûts et scalabilité

  • Compréhension des enjeux de qualité, gouvernance et fiabilité des données

  • Expérience en environnement agile

Skills

Apply

See also

Data Engineering jobs by country — openings, pay and top skills →