[MDO] Data Engineer (Dataiku / Snowflake) ( à partir de 6 années d'expérience) (IT) / Freelance
Summary
Freelance Data Engineer mission (6+ years' experience) to design, build and maintain reliable ETL/ELT data pipelines with Dataiku, SQL, Python and Snowflake, powering 'Spider', a fraud-detection application at a regulated insurer in Saint-Denis, France. Work covers data modeling, medallion architecture, governance, Git versioning and Agile/Scrum collaboration.
Contexte
Dans le cadre du développement et de l’industrialisation de Spider, une application de lutte contre la fraude, au sein de l’usine cognitive, nous recherchons un Data Engineer chargé de concevoir, développer et maintenir des pipelines de données fiables et performants.
Le consultant interviendra sur l’intégration, la transformation, la modélisation et la mise à disposition des données nécessaires aux cas d’usage de détection et d’investigation de la fraude. Il veillera à la qualité, à la traçabilité, à la gouvernance et à la conformité des données dans un environnement d’assurance réglementé.
Missions principales
Concevoir, développer et maintenir des pipelines de données ETL/ELT avec Dataiku, SQL, Python et Snowflake.
Intégrer, collecter, nettoyer et transformer des données issues de sources hétérogènes.
Concevoir et mettre en œuvre des modèles de données adaptés aux besoins de détection et d’investigation de la fraude.
Appliquer les principes d’architecture medallion et les bonnes pratiques de conception des architectures de données.
Garantir la qualité, la fiabilité, la traçabilité et la disponibilité des données.
Mettre en œuvre les principes de gouvernance des données et veiller au respect des exigences réglementaires.
Optimiser les traitements SQL et Python ainsi que les performances des pipelines.
Assurer la gestion du versionnement du code et la collaboration via Git.
Collaborer avec les équipes Data, métiers et techniques dans un environnement Agile/Scrum.
Contribuer à l’industrialisation et à l’amélioration continue des solutions de lutte contre la fraude.