Skip to content
Search jobs inside your AI agent. Claude, ChatGPT, Claude Code, Codex, Gemini, Cursor and Grok
Connect

Dgtl Performance

Data Engineer Java | Spark/Hadoop Pipelines Streaming/Batch

Posted Updated

Description

DGTL / Signe est le facilitateur pour les ressources DATA et vous rejoignez une mission stratégique dans un environnement Big Data mature. Vous piloterez la conception et l'évolution de pipelines de données massives (plusieurs téraoctets/jour) avec des fréquences variables, sur une architecture Hadoop/Spark.

Vous serez responsable du développement et de la maintenance de flux streaming et batch, en utilisant Java et Spark, et contribuerez à optimiser les performances et la fiabilité en

Concevoir et développer des pipelines de données (streaming et batch) en Java et Spark. Industrialiser les KPIs métiers développés en Python par les équipes métiers. Gérer et superviser le périmètre assigné, assurer le bon fonctionnement en production. Effectuer le suivi et la maintenance des pipelines: monitoring et alertes. Contribuer à la réduction de la dette technique: mises à jour libs et refactoring. Optimiser les configurations et performances des traitements à haut volume. Collaborer avec les équipes métier et data science pour les évolutions. Maîtrise Java et développement de pipelines de données (streaming et batch). Bonne connaissance de Spark et de l’écosystème Hadoop. Capacité à analyser et optimiser les performances des traitements massifs. Rigueur dans la conception, le code et la documentation. Capacité à travailler en équipe et à communiquer sur des sujets techniques. Expérience avec les outils Kafka et Flink et pratiques CI/CD.

Skills

Apply

See also

Data Engineering jobs by country — openings, pay and top skills →