DATA ENGINEER AZURE / DATABRICKS H/F
Summary
Freelance Data Engineer (Lyon, partial remote) building and industrializing an Azure cloud data warehouse for Kicklox's client: Databricks/PySpark notebooks on a Bronze/Silver/Gold medallion architecture, Azure Data Factory pipelines, Power BI, plus DevOps work with Terraform, Jenkins and Git CI/CD. 3+ years of data engineering experience required; paid 450-550 EUR/day.
Description De L'offreDans le cadre du développement de sa plateforme Data, Notre client
L'offre
Projet
DATA ENGINEER DATABRICK
Secteurs
Services & Systèmes d'Informations
Description De L'offre
Dans le cadre du développement de sa plateforme Data, Notre client recherche un(e) Ingénieur Data / Data Engineer Azure pour intervenir sur un Datawarehouse Cloud Azure.
La mission consiste à exploiter et valoriser différentes sources de données de l’entreprise afin d’alimenter les outils de pilotage et d’aide à la décision.
Vous interviendrez dans un environnement Data & Cloud combinant notamment Azure, Databricks, PySpark, Azure Data Factory et Power BI, avec une forte dimension DevOps et CI/CD.
Missions à réaliser
Data Engineering
- Concevoir et développer des notebooks Databricks en PySpark.
- Alimenter les différentes zones de données selon une architecture Bronze / Silver / Gold.
- Exploiter les formats Parquet, Delta et CSV.
- Développer des traitements de transformation, jointure et agrégation.
- Optimiser les notebooks et jobs existants en termes de performance, qualité et coûts.
- Participer à la fiabilisation et à l’industrialisation des traitements Data.
Supervision & qualité des données
- Superviser les flux Azure Data Factory.
- Mettre en place et suivre les indicateurs de qualité des données.
- Identifier les anomalies et mettre en place des alertes.
- Créer et maintenir des tableaux de bord de suivi.
- Participer à la résolution des incidents et à la reprise des traitements.
- Contribuer à l’amélioration continue de la plateforme Data.
DevOps & Cloud
- Faire évoluer les infrastructures Terraform.
- Maintenir et exécuter les pipelines Jenkins.
- Participer à l’industrialisation des déploiements Data.
- Gérer les repositories GitHub et les workflows Git.
- Participer aux revues de code (PR/MR).
- Appliquer et promouvoir les bonnes pratiques Git et CI/CD.
Conseil & études
- Participer aux études techniques et études d’opportunité.
- Produire des préconisations et contribuer aux dossiers d’innovation.
- Analyser les expressions de besoins internes.
- Collaborer avec les équipes techniques et métiers.
- Proposer des solutions et axes d’amélioration.
Livrables attendus
- Rapports d’études et de préconisations
- Dossiers d’intégration techniques
- Dossiers d’architecture techniques
- Réponses aux expressions de besoins internes
- Documentation et guides techniques
Modalités
- Date de démarrage : dès que possible
- Date de fin : non spécifiée
- Candidats recherchés : 1
- Expérience : 3+ ans
- Type de contrat : Freelance / Indépendant, Temps complet
- Rémunération : 450 € - 550 € par jour selon expérience
- Mode de facturation : Assistance technique
- Localisation : Lyon, France
- Télétravail partiel
Le profil recherché
Compétences requises
data, Azure DataBricks, Azure CI/CD
Description Du Profil
Vous êtes diplômé(e) d'une formation supérieure en informatique, Data, Cloud ou équivalent et disposez de 3 ans d’expérience professionnelle minimum en Data Engineering.
Vous avez une expérience significative sur des environnements Azure et Databricks et êtes à l’aise avec les problématiques d’industrialisation et de CI/CD.
Compétences indispensables
- 3 ans d’expérience minimum en Data Engineering
- Maîtrise de Python
- Très bonne maîtrise de PySpark
- Maîtrise de SQL
- Expérience sur Databricks
- Connaissance d’Azure Data Factory
- Maîtrise ou bonne expérience d’Azure
- Expérience avec les architectures Bronze / Silver / Gold
- Bonne connaissance des formats Parquet / Delta / CSV
- Connaissance de Delta Lake
- Expérience avec Terraform
- Expérience avec Jenkins / CI-CD
- Bonne maîtrise de Git / GitHub
- Connaissance des pratiques DevOps
Qualités recherchées
- Autonomie et rigueur.
- Capacité à prendre en charge des problématiques complexes.
- Esprit d’analyse et capacité à rechercher des solutions.
- Force de proposition.
- Bonne capacité d’organisation et de priorisation.
- Adaptabilité dans un environnement d’entreprise complexe.
- Bon niveau rédactionnel pour produire de la documentation et des guides.
- Capacité à communiquer avec des interlocuteurs techniques et métiers.
- Anglais professionnel.
Langues
Français, Anglais
Catégories
Consultant SI, Ingénieur BI, Business Analyst, Analyste BI, Analyste Fonctionnel, Analyste Technique, Auditeur IT, Consultant MOA, PMO, Administrateur CRM, Consultant ERP, Architecte d'Entreprise, CTO / CIO, IT Manager / Head of IT
À propos de l'entreprise
Les secteurs d'activité
Services & Systèmes d'Informations
Présentation
Depuis 2016, Kicklox aide talents tech et entreprises industrielles à se rencontrer et collaborer sur des projets innovants. Sa plateforme de Talent Management System digitalise tout le processus de référencement de compétences, de staffing de projets et de suivi de mission pour gagner en réactivité et en qualité sur la collaboration. Sa communauté inédite de plus de 150.000 talents tech qualifiés se mobilise à la demande sur des missions freelances ou pour être recruté directement en CDI. Son équipe d’experts métiers accompagne et conseille ses clients et sa communauté sur chacune des phases des projets confiés ainsi que sur leur transformation digitale. Fort de ces 3 piliers de son ADN, Kicklox déploie des services digitaux hybrides pour aider ses clients à mobiliser rapidement et sans limite toutes leurs compétences nécessaires pour faire face à la guerre des talents de l’industrie, la tech et l’innovation.
Taille de l'entreprise
Entre 50 et 250 salariés