Data Engineer Databricks CDI
Description
Au sein de l’équipe, vous concevez, développez et maintenez les pipelines de données et les architectures de données de la plateforme, en lien avec les enjeux métiers.
Missions principales
Être force de proposition et participer à la conception des solutions techniques avec les membres de l’équipe
Comprendre les enjeux métiers afin de concevoir des solutions répondant aux besoins fonctionnels
Participer aux cérémonies Agile SAFe : PI Planning, macro-chiffrage, raffinements, rétrospectives, etc.
Concevoir et faire évoluer les architectures de données selon l’approche Databricks Medallion Architecture (Bronze, Silver, Gold)
Garantir la qualité, la fiabilité et la performance des traitements en production : jobs Databricks et API
Contribuer à l’amélioration continue de la plateforme en proposant des optimisations, des bonnes pratiques et des innovations
Activités
Concevoir, développer et maintenir des pipelines de données (ETL) pour les flux d’intégration et les flux métiers
Mettre en œuvre et orchestrer les traitements de données avec Databricks
Modéliser les données dans des tables Delta Lake en appliquant les bonnes pratiques de partitionnement, d’indexation, d’optimisation et de gouvernance
Optimiser les performances des traitements Databricks : Spark, Delta Lake, coûts et temps d’exécution
Assurer le développement, les tests et le déploiement des composants techniques via des processus CI/CD
Concevoir, développer et maintenir des API pour l’exposition et la consommation des données
Mettre en place des mécanismes de Data Quality, de monitoring et d’alerting
Identifier, analyser et résoudre les incidents de production, avec suivi des actions correctives
Rédiger et maintenir la documentation technique des solutions mises en œuvre
Accompagner les équipes dans l’adoption des bonnes pratiques de Data Engineering
Environnement technique
Langages : Python, SQL
Data processing : Spark, PySpark, DBUtils
API et tests : FastAPI, Pytest
Data platform : Databricks, Unity Catalog
Orchestration : Airflow, avec migration vers Databricks Workflows
AWS : Lambda, Secrets Manager, S3, ECS
Versioning : Git
Industrialisation : pipelines CI/CD
Profil recherché
Compétences techniques requises
Conception et développement de pipelines de données
Connaissance des principes d’API REST et des architectures orientées services
Solides connaissances en modélisation de données, performance et qualité des données
Analyse et correction d’anomalies
Connaissance du Cloud AWS
Maîtrise de Python, SQL, DBUtils, PySpark et Boto3
Maîtrise des configurations de ressources Databricks sur AWS
Maîtrise de l’approche AI Augmented du Data Engineer
Atout
Gestion du streaming de données en temps réel
Séniorité / expérience
Niveau confirmé : 3 à 5 ans d’expérience (5 ans visés)
Skills
Sign in to read and join the discussion.