Data Engineer
Summary
Builds and optimizes data pipelines on Saagie using dbt and Python to process, transform, and automate data flows for analytics and business decisions.
Overview
Dans le cadre de l’offre de service du Data Office, notre client recherche un Data Engineer pour renforcer son équipe sur la plateforme data. La mission consiste principalement à créer et optimiser des pipelines de traitement de données sur la plateforme Saagie, en exploitant les technologies DBT et Python.
La plateforme étant encore jeune, ce dernier a besoin d’un collaborateur capable de travailler en mode exploration tout en structurant les développements pour une future montée en échelle.
Responsibilities
- Développer des pipelines de données robustes, performants et industrialisés.
- Concevoir et maintenir des transformations de données en utilisant dbt.
- Intégrer, nettoyer et préparer des données à des fins analytiques et décisionnelles.
- Automatiser les flux de données en Python pour optimiser les traitements.
- Collaborer avec les équipes métiers pour comprendre les besoins et traduire ces derniers en solutions techniques adaptées.
Techniques
- Expérience confirmée dans le développement de pipelines ETL/ELT, notamment avec dbt.
- Maîtrise avancée de la programmation en Python.
- Connaissance des architectures Data Lake et des solutions open source associées.
- Expertise en standardisation et industrialisation des flux (CI/CD, orchestration, monitoring).
- Expérience avec des plateformes DataOps telles que Saagie.
- Connaissance des contraintes liées aux projets en environnement ML (Machine Learning).
Fonctionnelles
- Capacité à comprendre les besoins métiers et projets.
- Aptitude à évaluer les implications techniques des choix fonctionnels.