Data Engineer Python / PySpark – Kafka / Cloudera CDP

Dans le cadre d’un projet Data / Big Data, nous recherchons un Data Engineer confirmé / senior spécialisé en Python et Spark/PySpark, pour intervenir sur une plateforme Cloudera CDP.

🎯 Contexte de la mission

Vous interviendrez sur des sujets de développement Data Engineering, avec la conception et l’évolution de pipelines de données en environnement Big Data, notamment sur des traitements batch et streaming.

🛠️ Missions

• Développer des pipelines et traitements Data en Python / Spark / PySpark

• Concevoir et maintenir des traitements Spark Streaming

• Participer au développement et à l’intégration de flux de données

• Intervenir sur une plateforme Cloudera CDP 7.1.9

• Travailler avec les différents composants de l’écosystème Big Data

• Participer aux évolutions et à l’industrialisation des traitements Data

• Collaborer avec les équipes Data / Back / Infrastructure

💻 Environnement technique

Indispensables :

• ⭐ Python

• ⭐ Apache Spark

• ⭐ PySpark

• Expérience significative en Data Engineering

Environnement fortement apprécié :

• Cloudera CDP 7.1.9

• Kafka

• NiFi

• Kubernetes / K8s

• Hive

• Ozone

• Iceberg

• Data Virtualization

• Spark Streaming

Profil recherché

Profil recherché

• Data Engineer confirmé / senior

• Solide expérience en développement Python + Spark/PySpark

• Bonne maîtrise des problématiques de traitement de données à grande échelle

• Expérience sur des environnements Big Data

• Une expérience sur Cloudera CDP et/ou l’écosystème Hadoop est un réel plus

• Autonomie, rigueur et capacité à intervenir sur des environnements techniques complexes

📩 Si cette opportunité vous intéresse, merci de me transmettre votre CV ainsi que vos disponibilités et votre TJM.