Data Engineer
Posted 4
views
Summary
Designs and maintains batch and real-time data pipelines feeding a datalake, working with Talend ETL, Python/PySpark on Databricks, and dbt, while implementing data quality, monitoring, CDC flows, and CI/CD best practices and supporting production releases.
- Concevoir et implémenter des pipelines d'ingestion et de transformation de données (batch et temps réel), robustes et scalables.
- Développer et maintenir les flux ETL Talend qui alimentent le datalake et les systèmes consommateurs.
- Développer des traitements Python / PySpark sur Databricks et mettre en œuvre les modèles de données cibles.
- Automatiser les transformations, la documentation et les tests de données avec dbt.
- Configurer les pipelines d'acheminement des données, y compris les flux CDC.
- Mettre en place les bonnes pratiques de qualité de données, de monitoring, d'alerting et de logging.
- Développer des modules réutilisables (templates de pipelines, librairies communes, CI/CD) et exploiter les modules existants dans les nouveaux projets.
- Réaliser les développements et les tests associés, et accompagner les mises en production.