Lead Data Engineer Azure Databricks
Posted Updated
Summary
Lead data engineer in Casablanca designing merchandising data pipelines on Azure Databricks and Microsoft Fabric: writing PySpark/SQL transformations, mapping data across Silver/Platinum lakehouse layers, and joining spatio-temporal data with sales and stock facts for retail analytics. Requires 5+ years of data engineering experience.
- Participer au cadrage technique du projet et à l’analyse des sources de données.
- Réaliser le Data Mapping entre les données Apollo en couche Silver et les données commerciales existantes en couche Platinum.
- Concevoir les règles de transformation et de jointure des données.
- Développer les pipelines de transformation sous Databricks / Microsoft Fabric.
- Développer les scripts PySpark et SQL nécessaires à la création des tables Platinum Merchandising.
- Croiser les données spatio-temporelles Apollo avec les faits de ventes, stocks et démarque.
- Mettre en place les modèles de données nécessaires aux analyses Merchandising.
- Garantir la qualité, la cohérence et la fiabilité des données produites.
- Participer aux tests techniques et à la validation des transformations.
- Collaborer avec le Business Analyst et le Data Analyst Power BI pour assurer l’adéquation entre les données produites et les besoins décisionnels.
- Contribuer à la documentation technique et au transfert de connaissances.
Profil
- Plus de 5 ans d’expérience en Data Engineering.
- Maîtrise d’Azure Databricks.
- Maîtrise de PySpark et SQL.
- Expérience sur Microsoft Fabric.
- Bonne maîtrise des architectures Data Lake / Lakehouse et des couches de données.
- Expérience en modélisation décisionnelle complexe.
- Maîtrise des jointures et transformations de données spatio-temporelles.
- Expérience dans la construction de pipelines de données et de tables analytiques.
- Bonne compréhension des enjeux de qualité, de performance et de fiabilité des données.
- Une expérience dans le Retail / Grande Distribution constitue un atout.