Data Engineer Databricks F/H
Summary
Build and optimize scalable ETL/ELT pipelines on Databricks and Azure, manage data lakehouses, and ensure quality and governance for analytics and ML workloads.
Votre rôle
- Ingestion et transformation des données
- Concevoir des pipelines ETL/ELT performants et évolutifs
- Ingérer des données depuis diverses sources (bases de données, fichiers, APIs, streaming, etc.)
- Appliquer des transformations et des nettoyages sur les données
- Optimiser les requêtes (partitionnement, caching, autoscaling)
- Gérer les coûts d’exécution en adaptant les ressources (clusters Databricks, autoscaling)
- Mettre en place des Data Lakehouse et organiser les données selon des bonnes pratiques (Bronze, Silver, Gold)
- Appliquer des politiques de sécurité et de gouvernance avec Unity Catalog
- Assurer la qualité des données
- Développer des notebooks et des jobs pour automatiser les traitements
- Orchestrer les workflows avec Databricks Workflows ou Azure Data Factory
- Mettre en place du CI/CD avec des outils comme GitHub Actions, Azure DevOps, etc.
- Collaborer avec les équipes Data & métier
- Travailler avec les Data Scientists pour fournir des jeux de données prêts pour le Machine Learning
- Aider les analystes à optimiser leurs requêtes et tableaux de bord (BI)
- Assurer un rôle de conseil sur les bonnes pratiques Databricks et Spark
- Recueillir les besoins métiers
- Rédiger des spécifications fonctionnelles et techniques
- Accompagner les métiers dans la mise en place de leurs besoins dans la data plateforme
- Compétences techniques : Databricks, Azure, Power BI, Spark, SQL
Votre profil
Profil de formation Data, vous justifiez d'au moins 2 ans d'expériences significatives en qualité de consultant DATA Databricks.