Cloud Data Engineer AWS / Streaming temps réel (H/F)
Posted
Description
Vos missions
- Concevoir et faire évoluer une architecture de streaming pour la collecte, le traitement et l'analyse des données
- Développer des pipelines de traitement temps réel et batch avec Apache Flink, Apache Spark et Apache Iceberg
- Déployer les pipelines d'ingestion et de traitement en CI/CD et Infrastructure as Code, pour les environnements batch et streaming
- Participer à la migration et au refactoring de l'architecture historique vers AWS (Move to Cloud, ETL/ELT, batch et streaming)
- Contribuer à l'implémentation d'algorithmes de maintenance prédictive et de routage
- Industrialiser et exposer des modèles de Machine Learning sous forme d'API, en lien avec les équipes data science
- Assurer le monitoring, la fiabilité et la performance des traitements en production
Environnement technique
- Streaming et traitement : Apache Flink, Apache Kafka (MSK), Kinesis, Apache Spark, Apache Iceberg
- Orchestration : Apache Airflow (MWAA)
- Cloud AWS : S3, Lambda, EKS, ECS, EC2, ECR, IAM, IoT Core
- IoT : MQTT, données capteurs remontées par satellite
- Data warehouse : Snowflake
- DevOps / IaC : Terraform, Docker, CI/CD
- Langages : Python, SQL
Profil recherché
- Formation Bac+5 (école d'ingénieur ou master) en informatique, data ou télécommunications
- Au moins 5 ans d'expérience en data engineering, dont une part significative sur AWS
- Expérience solide des architectures streaming à forte volumétrie (Flink, Kafka ou Kinesis)
- Maîtrise de Terraform et des pratiques CI/CD appliquées aux pipelines de données
- Une expérience d'industrialisation de modèles ML (MLOps, mise en API, monitoring) est un vrai plus
- Une connaissance des données IoT ou industrielles (maintenance prédictive, capteurs) est appréciée
- Une certification AWS (Solutions Architect, Data Engineer) est un atout
- Anglais professionnel
Savoir-être
- Autonomie et sens des responsabilités sur des systèmes critiques en production
- Capacité à dialoguer avec les équipes métier pour traduire leurs besoins en solutions techniques
- Rigueur, goût de la performance et de la qualité de la donnée
- Esprit d'équipe et envie de partager ses pratiques
Informations pratiques
- Contrat : CDI chez Visian Azur
- Lieu : Marseille, présence régulière sur le site du client
- Démarrage : à définir ensemble
- Rémunération : selon profil et expérience
Skills
Sign in to read and join the discussion.