Data Engineer - Scala AWS
Summary
Build and maintain large-scale data pipelines in Scala and Spark on AWS, ensuring reliability and performance for a distributed data platform.
Notre partenaire, dévelope une plateforme data capable de traiter des volumes massifs de données et d'attribuer la performance de manière fiable, à l’échelle.
Dans ce contexte, ils recrutent un(e) Data Engineer confirmé(e) pour renforcer notre équipe Data Platform.Vous contribuerez à la conception, au développement et à l’exploitation d’une plateforme data distribuée à forte volumétrie.
- Concevoir et faire évoluer des pipelines de traitement de données à grande échelle
- Développer des traitements distribués robustes et maintenables (principalement en Scala)
- Participer aux choix d’architecture et aux décisions techniques
- Optimiser les performances et les coûts des traitements
- Garantir la qualité et la fiabilité des données en production
- Participer aux code reviews et à l’amélioration continue des pratiques engineering
- Investiguer et résoudre des problématiques complexes (performance, debugging)
- Collaborer avec les équipes Data, Produit et Backend
Vous contribuerez également à l’évolution des pratiques techniques : Qualité logicielle, Observabilité,Tests et CI/CD,Industrialisation des pipelines
Stack technique : Scala, Apache Spark, SQL, Airflow, AWS,Docker
Vous disposez de 3 à 5 ans d'expérience en tant …
…nous recherchons un profil rigoureux dans la conception et la qualité du code, sensible aux bonnes pratiques, avec une approche orientée solutions.
Pourquoi les rejoindre ?
- Une équipe technique expérimentée etexigeante
- Des problématiques data à grande échelle
- Une forte implication des ingénieurs dans les décisions techniques
- Des sujets concrets avec impact produit direct
- Une culture basée sur la collaboration et l’ownership