Data Engineer Senior (H/F) - Freelance
Posted 4
views
Taux journalier (TJM): 600
CONTEXTE DE LA MISSION
Dans le cadre de la modernisation et de l'évolution de ses infrastructures de données, un acteur majeur du secteur de la mobilité et des services numériques renforce son pôle Data Services.
L'objectif principal de la mission est d'accompagner l'équipe dans la conception, l'industrialisation et l'évolution des solutions Data, tout en contribuant activement à la mise en œuvre et au passage à l'échelle de l'architecture Lakehouse de l'entreprise.
DESCRIPTION DES TÂCHES & RESPONSABILITÉS
Architecture, Modélisation & Développement
*
Concevoir, développer et optimiser des pipelines de données à grande échelle (batch, streaming et ingestion via API).
*
Structurer les transformations selon le modèle de modélisation Médaillon (Bronze / Silver / Gold).
*
Industrialiser les flux via Spark, dbt et Apache Iceberg.
*
Contribuer activement à la stratégie et à l'évolution de l'architecture Lakehouse.
Déploiement, DevOps & Infrastructure
*
Déployer et maintenir les pipelines au sein d'un environnement Cloud AWS.
*
Orchestrer les workflows ETL/ELT avec Apache Airflow.
*
Gérer l'Infrastructure as Code (IaC) à l'aide de Terraform.
*
Exécuter et gérer les traitements dans des environnements conteneurisés (Docker, Kubernetes).
Observabilité, Qualité & Gouvernance
*
Garantir la haute disponibilité, la supervision et l'observabilité des traitements (via Datadog notamment).
*
Assurer la gestion des incidents et participer aux démarches d'amélioration continue.
*
Mettre en œuvre les règles de qualité de données (tests automatisés, validations et contrôles de cohérence).
*
Rédiger la documentation technique et fonctionnelle (architectures, pipelines, règles métier).
*
Garantir la conformité et la sécurité des flux, dans le respect des normes RGPD.
*
8 ans minimum d'expérience en Data Engineering.
*
Maîtrise avancée des architectures Big Data et Lakehouse.
*
Esprit d'analyse : Forte capacité à appréhender et traduire les enjeux métiers.
*
Savoir-être : Rigueur, autonomie et culture de l'amélioration continue.
Compétences indispensables (Must-have) :
*
Frameworks & Traitement Data : dbt, Apache Iceberg, Apache Spark, Python.
*
Environnement Cloud AWS : Maîtrise des services clés (AWS Glue, EMR, S3, etc.).
*
Architecture & Modélisation : Modélisation Médaillon (Bronze / Silver / Gold), architecture Lakehouse.
Compétences clés & importantes :
*
Infrastructure & DevOps : Terraform, Docker, Kubernetes, Apache Airflow.
*
Observabilité & Moteurs de requêtes : Datadog, Trino / Starburst.
*
Gouvernance : Règlements RGPD, Data Quality et automatisation des tests.
CONTEXTE DE LA MISSION
Dans le cadre de la modernisation et de l'évolution de ses infrastructures de données, un acteur majeur du secteur de la mobilité et des services numériques renforce son pôle Data Services.
L'objectif principal de la mission est d'accompagner l'équipe dans la conception, l'industrialisation et l'évolution des solutions Data, tout en contribuant activement à la mise en œuvre et au passage à l'échelle de l'architecture Lakehouse de l'entreprise.
DESCRIPTION DES TÂCHES & RESPONSABILITÉS
Architecture, Modélisation & Développement
*
Concevoir, développer et optimiser des pipelines de données à grande échelle (batch, streaming et ingestion via API).
*
Structurer les transformations selon le modèle de modélisation Médaillon (Bronze / Silver / Gold).
*
Industrialiser les flux via Spark, dbt et Apache Iceberg.
*
Contribuer activement à la stratégie et à l'évolution de l'architecture Lakehouse.
Déploiement, DevOps & Infrastructure
*
Déployer et maintenir les pipelines au sein d'un environnement Cloud AWS.
*
Orchestrer les workflows ETL/ELT avec Apache Airflow.
*
Gérer l'Infrastructure as Code (IaC) à l'aide de Terraform.
*
Exécuter et gérer les traitements dans des environnements conteneurisés (Docker, Kubernetes).
Observabilité, Qualité & Gouvernance
*
Garantir la haute disponibilité, la supervision et l'observabilité des traitements (via Datadog notamment).
*
Assurer la gestion des incidents et participer aux démarches d'amélioration continue.
*
Mettre en œuvre les règles de qualité de données (tests automatisés, validations et contrôles de cohérence).
*
Rédiger la documentation technique et fonctionnelle (architectures, pipelines, règles métier).
*
Garantir la conformité et la sécurité des flux, dans le respect des normes RGPD.
*
8 ans minimum d'expérience en Data Engineering.
*
Maîtrise avancée des architectures Big Data et Lakehouse.
*
Esprit d'analyse : Forte capacité à appréhender et traduire les enjeux métiers.
*
Savoir-être : Rigueur, autonomie et culture de l'amélioration continue.
Compétences indispensables (Must-have) :
*
Frameworks & Traitement Data : dbt, Apache Iceberg, Apache Spark, Python.
*
Environnement Cloud AWS : Maîtrise des services clés (AWS Glue, EMR, S3, etc.).
*
Architecture & Modélisation : Modélisation Médaillon (Bronze / Silver / Gold), architecture Lakehouse.
Compétences clés & importantes :
*
Infrastructure & DevOps : Terraform, Docker, Kubernetes, Apache Airflow.
*
Observabilité & Moteurs de requêtes : Datadog, Trino / Starburst.
*
Gouvernance : Règlements RGPD, Data Quality et automatisation des tests.