Skip to content
Search jobs inside your AI agent. Claude, ChatGPT, Claude Code, Codex, Gemini, Cursor and Grok
Connect

Free-Work

New

Data Engineer Senior - PySpark H/F (CDI)

Posted 40 views

Summary

Senior data engineer (permanent contract, on-site in Nantes) designing, industrializing and running data pipelines in an AWS Lakehouse environment. Day to day: Spark/PySpark, Python, SQL, dbt and Apache Iceberg transformations orchestrated with Airflow, Terraform-based infra, data quality/observability, documentation and RUN incident resolution for marketing data needs.

Free-Work est une plateforme qui s'adresse à tous les professionnels des métiers de l'informatique.
Ses contenus et son jobboard IT sont mis à disposition 100% gratuitement pour les indépendants et les salariés du secteur. ContexteDans le cadre du renforcement d'une équipe , nous recherchons un consultant Data Engineer Senior/Expert capable d?intervenir de manière autonome sur la conception, l?industrialisation et l?exploitation de produits et pipelines Data.
La mission s?inscrit dans un environnement Lakehouse AWS, avec des enjeux de qualité, performance, fiabilité des traitements et maîtrise du RUN.
MissionsLe consultant interviendra notamment sur les activités suivantes :
Concevoir, développer et optimiser des pipelines de données.
Développer et industrialiser les traitements avec Spark/PySpark, Python, SQL et dbt.
Exploiter des données au format Apache Iceberg dans une architecture Lakehouse / Medallion.
Orchestrer les traitements avec Airflow.
Déployer et maintenir les traitements sur AWS et contribuer à l?Infrastructure as Code avec Terraform.
Mettre en ?uvre les contrôles de Data Quality, tests et mécanismes d?observabilité.
Participer au RUN, à l?analyse des incidents et au traitement des causes racines.
Contribuer à la documentation, au Data Lineage, aux Data Contracts et au Data Catalog.
Travailler avec les Product Owners et interlocuteurs métier afin de traduire les besoins Marketing en solutions Data robustes et maintenables.
LivrablesLes livrables de la prestation pourront comprendre :
Pipelines Data développés, testés et industrialisés.
Transformations Spark et Modèles dbt.
Workflows Airflow.
Infrastructure Terraform nécessaire aux traitements.
Tests automatisés et contrôles de Data Quality.
Monitoring et alerting associés aux traitements.
Documentation technique et fonctionnelle.
Documentation des modèles et règles métier.
Contribution aux Data Contracts, lineage et métadonnées.
Analyse et résolution des incidents.
Plans de remédiation pour les incidents ou problèmes récurrents.
Contribution aux standards et bonnes pratiques Data Engineering de l'équipe. Compétences8 années minimum d?expérience en Data Engineering
Une maîtrise avancée des architectures Big Data et Lakehouse
Expertise réelle sur Spark, DBT, Iceberg, et services AWS.
Maîtrise des services AWS (Glue, EMR, S3, )
Connaissance de Trino/Starburst, Datadog
Une forte capacité d?analyse et de compréhension des enjeux métiers.
Rigueur, autonomie et culture de l?amélioration continue.
La connaissance des enjeux métiers Marketing sera appréciée.
Compétences clésObligatoire :
Développement SPARK
AWS
Python
Big Data
Outils modélisation data
Collecte de données
Important :
DBT
Starburst
Intéressant :
Data Catalog

Skills

What Senior Data Engineering jobs ask for — and how much of it you have →
Apply