Data Engineer — Hybrid Big Data Pipelines & Impact
Posted Updated
Description
Valeuriad, ESN Agile 100% Nantaised, cherche un Data Engineer pour concevoir et construire des pipelines de données robustes. Vous assurerez l ingestion, la transformation et l exposition de flux volumineux, en utilisant Hadoop/Spark/Kafka et des outils comme Dataiku.
Vous collaborerez avec les architectes et les équipes Data pour garantir la disponibilité des données. Le poste implique une exposition Data science, des pratiques DevOps et une expérience cloud (AWS/GCP).
Concevoir et construire les pipelines de données robustes et performants. Ingestion, transformation et exposition de flux complexes et volumineux. Gérer le cluster Hadoop (Spark, Yarn, Ambari, Oozie) et les outils associés. Collaborer avec architectes, PO/PPO et équipes Data pour aligner les exigences. Exposer les données pour Dataiku et faciliter les modèles de Data Science. Gérer la configuration et l’intégration continue (Git/GitLabCI, Jenkins). Utiliser AWS (S3, Athena) pour la lecture et transformation des données. Assurer suivi des traitements et de la volumétrie avec Kibana. Expérience confirmée en conception et développement de pipelines Big Data. Maîtrise des flux de données (ingestion, transformation et exposition). Bonne connaissance des technologies Hadoop/Spark/Kafka/Hive. Intégration avec Data Science et équipes métier. Expérience AWS ou cloud est un plus. Pluralsight accès Udemy accès Mentorat Conférences Data RSE interne Événements teams NantesSkills
Sign in to read and join the discussion.