Data Engineer Senior H/F (IT) / Freelance
Posted Updated 6
views
Summary
Senior freelance data engineer who designs and builds data ingestion/processing pipelines, normalization layers, and data-exposure APIs on AWS, while evolving a shared framework (CI/CD, monitoring, testing) and providing technical leadership. Core stack: Python, Spark/Glue, S3/Parquet/HDFS, advanced SQL, AWS (Lambda, IAM, EventBridge, CloudWatch), and Infrastructure as Code.
Mission :
- Architecture & Développement : Concevoir et développer les pipelines d'ingestion/traitement, les briques de normalisation et les API d'exposition des données.
- Core Framework : Faire évoluer le framework commun (CI/CD, monitoring, tests automatisés, résilience, performance, qualité de code).
- Leadership technique : Piloter des chantiers de dev, challenger les besoins métiers, faire respecter les standards d'architecture et coacher l'équipe.
(Important : Vous devez maîtriser au moins 2 à 3 des domaines techniques clés ci-dessus).
Stack & Compétences requises :
- Software Engineering : Excellente maîtrise de Python (POO, modularisation, clean code), Git & Git Flow.
- Big Data & Performance : Spark, Glue, Parquet, S3, HDFS, SQL avancé. Expertise en optimisation (partitionnement, bucketing, cache, tuning Spark/SQL).
- Cloud AWS : S3, Lambda, Glue, IAM, EventBridge, CloudWatch.
- DevOps & IaC : Pratiques CI/CD robustes et Infrastructure as Code.
- Lieu : Hauts-de-Seine (92) / Île-de-France.
- Déplacements : Ponctuels à prévoir en France (Lyon) et en Belgique (Bruxelles).
- Spécificité : Astreintes possibles.