Data Engineer Sénior
Posted Updated
Summary
Senior data engineer at Bank of Africa who designs and industrializes batch and real-time data pipelines (PySpark, NiFi, Airflow, Cloudera CDE), models and optimizes Apache Iceberg tables, tunes Impala SQL, enforces data governance and quality, contributes to MLOps, and mentors junior engineers.
Responsabilités principales : - Concevoir et industrialiser des pipelines de données batch et temps réel (PySpark, Apache NiFi, Airflow, Cloudera Data Engineering – CDE). - Modéliser, maintenir et optimiser des tables analytiques sous Apache Iceberg (partitionnement, versioning, évolution de schémas). - Optimiser les requêtes analytiques via Impala (SQL complexe, tuning de performance). - Mettre en œuvre les contrôles de qualité de données, le monitoring et le respect des règles de gouvernance (catalogue, lineage, sécurité). - Contribuer à la mise en place des pipelines MLOps (intégration avec Cloudera Machine Learning si activé). - Encadrer techniquement les profils juniors et diffuser les bonnes pratiques. - Collaborer avec les équipes Data Science, BI, Sécurité et Architecture.