Data Engineer AWS / Scala Spark
Posted Updated
Description
Lomegard, basé en Île-de-France à Paris, recherche un Data Engineer senior disposant d'une forte expertise sur les environnements AWS, Scala et Spark.
Vous intégrez la direction Data et participez à la conception, au développement et à l'exploitation d'un data lake sur AWS, avec Airflow et Dataiku, dans un cadre agile. Vous travaillerez en interaction avec les équipes produit, data, BI et métiers et garantirez la fiabilité et l’évolution des pipelines.
Maintien opérationnel de la plateforme et disponibilité des données et services. Analyser incidents et anomalies de production et proposer des correctifs. Concevoir et développer des pipelines robustes (Acquisition, Transformation, Export). Réaliser des traitements distribués en Scala Spark et modéliser les données. Rédiger les tests unitaires et d’intégration et assurer le déploiement sur différents envrionnements. Maintenir la documentation technique et fonctionnelle et communiquer avec les parties prenantes. Data Engineer sénior avec une forte expérience sur AWS, Scala et Spark. Expérience dans des contextes à forte volumétrie de données et architecture scalable. Bonne maîtrise des environnements cloud et des pipelines de données.Skills
Sign in to read and join the discussion.