Data Engineer Senior (IT) / Freelance
Summary
Senior Data Engineer designing and optimizing large-scale data pipelines on an AWS Lakehouse architecture using DBT, Spark, Iceberg, and Airflow, with IaC via Terraform and containerized deployments.
Nous recherchons actuellement un(e) Data Engineer Senior pour accompagner une équipe Data sur des sujets à forts enjeux autour de la Data Engineering, du Big Data et des architectures Lakehouse.
1 Data Engineer Senior
Missions principales :
- Concevoir, développer et optimiser des pipelines de données à grande échelle
- Mettre en œuvre des flux batch, streaming et ingestion via API
- Structurer les transformations selon le modèle Médaillon (Bronze / Silver / Gold)
- Développer et industrialiser les pipelines avec DBT, Spark et Iceberg
- Contribuer à l’évolution et à l’optimisation de l’architecture Lakehouse
- Déployer et maintenir les pipelines dans un environnement Cloud AWS
- Orchestrer les workflows ETL / ELT avec Airflow
- Mettre en œuvre l’Infrastructure as Code avec Terraform
- Travailler sur des environnements conteneurisés avec Docker / Kubernetes
- Garantir la disponibilité, la supervision et l’observabilité des traitements
- Participer à la gestion des incidents et à l’amélioration continue
- Définir et mettre en œuvre les règles de qualité des données : tests, validations et contrôles automatisés
- Documenter les architectures, pipelines et règles métier
- Garantir la conformité des flux, notamment dans le respect des exigences RGPD
Environnement technique :
- DBT / Data Catalog
- Apache Spark
- Apache Iceberg
- AWS : Glue, EMR, S3…
- Terraform
- Airflow
- Python
- Trino / Starburst
- Datadog
- Docker / Kubernetes
- Big Data / Lakehouse
- Modélisation et collecte de données
Profil recherché :
- Minimum 8 ans d’expérience en Data Engineering
- Expertise confirmée des architectures Big Data et Lakehouse
- Très bonne maîtrise de DBT, Spark, Iceberg, AWS et Terraform
- Solide expérience sur les services AWS, notamment Glue, EMR et S3
- Connaissance de Trino / Starburst et Datadog
- Bon niveau en Python
- Forte capacité d’analyse et de compréhension des enjeux métiers
- Expérience dans l’accompagnement et l’encadrement de profils juniors
- Autonomie, rigueur et forte culture de l’amélioration continue
Contexte :
- Environnement Data à grande échelle
- Projets autour de la modernisation et de l’industrialisation des plateformes Data
- Forts enjeux Lakehouse, Data Quality, Observabilité et Cloud
- Collaboration avec des équipes Data, IT et métiers