Data Engineer Senior - Databricks / AWS - Freelance (H/F)
Description
Taux journalier (TJM): 550
Localisation : La Garenne-Colombes - télétravail hybride
Démarrage : fin novembre 2026
Expérience : 5 ans minimum
Type de contrat : freelance
Contexte
Dans le cadre du renforcement de ses équipes, un grand groupe du secteur de l'énergie recherche un(e) Data Engineer Senior au sein de sa Direction Data \& IT, pour son activité dédiée aux particuliers.
Le poste s'inscrit dans une équipe Agile de 14 personnes, dont 7 Data Engineers, en charge du traitement des données de consommation des clients et de leur mise à disposition sur les canaux digitaux. L'équipe fait partie d'un Train SAFe synchronisé avec d'autres Trains et équipes Data.
Missions
Concevoir, développer et maintenir des pipelines de données (ETL) pour les flux d'intégration et les flux métiers
Concevoir et faire évoluer les architectures de données selon l'approche Medallion (Bronze, Silver, Gold) sur Databricks
Modéliser les données dans des tables Delta Lake en appliquant les bonnes pratiques de partitionnement, d'indexation, d'optimisation et de gouvernance
Optimiser les performances des traitements Spark et Delta Lake, en termes de temps d'exécution et de coûts
Concevoir, développer et maintenir des APIs d'exposition et de consommation des données
Mettre en place des dispositifs de contrôle qualité des données, de monitoring et d'alerting
Assurer le développement, les tests et le déploiement des composants via des chaînes CI/CD
Analyser et résoudre les incidents de production et assurer le suivi des actions correctives
Rédiger et maintenir la documentation technique
Participer aux cérémonies SAFe (PI Planning, refinements, macro-chiffrage, rétrospectives)
Contribuer aux choix techniques et à l'amélioration continue de la plateforme
Accompagner l'équipe dans l'adoption des bonnes pratiques de Data Engineering
Environnement technique
Langages : Python, SQL
Traitement de données : Spark, PySpark, DBUtils
Plateforme : Databricks, Unity Catalog, Delta Lake
Orchestration : Airflow (migration en cours vers Databricks Workflows)
APIs et tests : FastAPI, Pytest
Cloud : AWS (Lambda, S3, ECS, Secrets Manager)
- Outillage : Git, CI/CD
Profil recherché
Expérience d'au moins 5 ans en Data Engineering
Expérience confirmée en conception et développement de pipelines de données
Maîtrise de Python, SQL et des bibliothèques associées (PySpark, DBUtils, Boto3)
Maîtrise de la configuration des ressources Databricks sur AWS
Solides connaissances en modélisation, performance et qualité des données
Connaissance des principes d'API REST et des architectures orientées services
Expérience significative sur l'environnement AWS
Capacité d'analyse et de résolution d'anomalies en production
Expérience en tant que Tech Lead
- Pratique du Data Engineering assisté par l'IA
Atouts appréciés
Expérience en traitement de données en temps réel (streaming)
*
Capacité à comprendre les enjeux métiers et à les traduire en solutions techniques