Skip to content
Search jobs inside your AI agent. Claude, ChatGPT, Claude Code, Codex, Gemini, Cursor and Grok
Connect

Hexateam

NewBe an early applicant

Data Engineer Databricks CDI

Posted Updated

Description

Au sein de l’équipe, vous concevez, développez et maintenez les pipelines de données et les architectures de données de la plateforme, en lien avec les enjeux métiers.

Missions principales

  • Être force de proposition et participer à la conception des solutions techniques avec les membres de l’équipe

  • Comprendre les enjeux métiers afin de concevoir des solutions répondant aux besoins fonctionnels

  • Participer aux cérémonies Agile SAFe : PI Planning, macro-chiffrage, raffinements, rétrospectives, etc.

  • Concevoir et faire évoluer les architectures de données selon l’approche Databricks Medallion Architecture (Bronze, Silver, Gold)

  • Garantir la qualité, la fiabilité et la performance des traitements en production : jobs Databricks et API

  • Contribuer à l’amélioration continue de la plateforme en proposant des optimisations, des bonnes pratiques et des innovations

Activités

  • Concevoir, développer et maintenir des pipelines de données (ETL) pour les flux d’intégration et les flux métiers

  • Mettre en œuvre et orchestrer les traitements de données avec Databricks

  • Modéliser les données dans des tables Delta Lake en appliquant les bonnes pratiques de partitionnement, d’indexation, d’optimisation et de gouvernance

  • Optimiser les performances des traitements Databricks : Spark, Delta Lake, coûts et temps d’exécution

  • Assurer le développement, les tests et le déploiement des composants techniques via des processus CI/CD

  • Concevoir, développer et maintenir des API pour l’exposition et la consommation des données

  • Mettre en place des mécanismes de Data Quality, de monitoring et d’alerting

  • Identifier, analyser et résoudre les incidents de production, avec suivi des actions correctives

  • Rédiger et maintenir la documentation technique des solutions mises en œuvre

  • Accompagner les équipes dans l’adoption des bonnes pratiques de Data Engineering

Environnement technique

  • Langages : Python, SQL

  • Data processing : Spark, PySpark, DBUtils

  • API et tests : FastAPI, Pytest

  • Data platform : Databricks, Unity Catalog

  • Orchestration : Airflow, avec migration vers Databricks Workflows

  • AWS : Lambda, Secrets Manager, S3, ECS

  • Versioning : Git

  • Industrialisation : pipelines CI/CD

Profil recherché

Compétences techniques requises

  • Conception et développement de pipelines de données

  • Connaissance des principes d’API REST et des architectures orientées services

  • Solides connaissances en modélisation de données, performance et qualité des données

  • Analyse et correction d’anomalies

  • Connaissance du Cloud AWS

  • Maîtrise de Python, SQL, DBUtils, PySpark et Boto3

  • Maîtrise des configurations de ressources Databricks sur AWS

  • Maîtrise de l’approche AI Augmented du Data Engineer

Atout

  • Gestion du streaming de données en temps réel

Séniorité / expérience

  • Niveau confirmé : 3 à 5 ans d’expérience (5 ans visés)

Skills

What Middle Data Engineering jobs ask for — and how much of it you have →
Apply

See also

Data Engineering jobs by country — openings, pay and top skills →