Posted Updated
Taux journalier (TJM): 500Dans le cadre d'un projet de mise à disposition de données à des fins d'analyse, de test ou de développement, vous contribuez à concevoir et industrialiser des traitements de préparation et d'anonymisation de données. Vous veillez à leur qualité, leur traçabilité et leur exécution à l'échelle.Les objectifs et critères d'anonymisation sont définis avec les interlocuteurs compétents, notamment le DPO et les équipes Conformité et Sécurité. La pseudonymisation ne doit pas être assimilée à l'anonymisation.Missions principales * Concevoir, développer et maintenir des pipelines de données en Python. * Traiter des volumes importants à l'aide de Dask et Polars, en évaluant leur pertinence selon les cas d'usage. * Mettre en œuvre les transformations définies dans le cadre du projet : suppression ou transformation de champs, généralisation, agrégation ou autres techniques retenues. * Contribuer à la détection des données directement ou indirectement identifiantes, en coordination avec les experts concernés. * Développer des contrôles automatisés : schéma, qualité, cohérence, complétude et détection de régressions. * Mesurer les performances des traitements et optimiser leur consommation de ressources. * Assurer la traçabilité des traitements, des versions de code et des jeux de données produits. * Documenter les règles de transformation, les limites connues et les résultats des contrôles. * Participer aux revues de code, aux tests et à l'intégration continue. * Collaborer avec les équipes métiers, Data, Sécurité, Conformité et Protection des données.Compétences techniques requises * Très bonne maîtrise de Python et de l'écosystème data associé. * Expérience pratique de Polars et/ou Dask ; capacité à comparer leurs usages et leurs performances. * Maîtrise des traitements de données tabulaires et des formats courants : Parquet, CSV, JSON. * Pratique de la conception de pipelines fiables et reproductibles. * Maîtrise des tests automatisés, du contrôle de qualité des données et du versionnement avec Git. * Connaissance des environnements de déploiement et d'exécution industrialisés : conteneurs, ordonnanceurs ou plateformes distribuées selon l'environnement du projet. * Sensibilité aux enjeux de protection des données, de minimisation des accès et de sécurisation des environnements.
See also
Data Engineering jobs by country — openings, pay and top skills →