Data Engineer: End-to-End Pipelines & Databricks Expert
Posted Updated
Description
Free-Work recherche un ingénieur data pour concevoir et implémenter des pipelines d'ingestion et de transformation, en batch et en temps réel, robustes et scalables à Paris.
Vous développerez les flux ETL Talend alimentant le datalake et les systèmes consommateurs, ainsi que des traitements Python/PySpark sur Databricks et les modèles de données cibles, tout en appliquant les meilleures pratiques de CI/CD et de qualité des données. Vous participerez aussi aux tests et à la mise en production.
Concevoir et implémenter des pipelines ingestion/Transformation robustes et scalables. Développer des flux ETL Talend alimentant le datalake et les systèmes consommateurs. Réaliser les traitements Python/PySpark sur Databricks et modéliser les données cibles. Mettre en œuvre dbt, QA, monitoring et CI/CD pour les pipelines. Expérience en conception et maintenance de pipelines de données. Maîtrise d'ETL Talend et des workflows batch/temps réel. Bonnes compétences en Python/PySpark et Databricks.Skills
Sign in to read and join the discussion.