Ingénieur Devops data (H/F)
Description
POSTE : Ingénieur Devops data
DESCRIPTION : Dans le cadre de l'évolution d'une Plateforme Sécurisée des Données, nous recherchons un Ingénieur DevOps Data / DataOps afin d'assurer l'administration technique, le maintien en conditions opérationnelles et l'évolution des outils de cartographie des données et du catalogue de métadonnées.
Missions :
- Administration et exploitation (OPS)
Déployer et maintenir les infrastructures et configurations via Terraform et Ansible.
Assurer le maintien en conditions opérationnelles des instances - - Apache NiFi et des connecteurs OpenMetadata.
Superviser les pipelines d'ingestion et assurer la résolution des incidents techniques.
Rédiger et maintenir la documentation ainsi que les procédures d'exploitation.
- Développement et maintenance des flux Data
Concevoir, développer et maintenir les flux Apache NiFi pour l'ingestion des métadonnées techniques et fonctionnelles.
Assurer la transformation, le contrôle qualité et la cohérence des données entrantes.
Développer des scripts Python, Bash et SQL pour automatiser les traitements et enrichir les métadonnées.
- Interconnexion des produits Data et du catalogue
Améliorer la connectivité entre le Datalake et OpenMetadata.
Mettre en œuvre l'extraction des schémas et le profilage des données.
Étendre la cartographie automatique aux différents services de la plateforme.
Contribuer à la fiabilité et à la traçabilité des métadonnées.
Compétences techniques requises
Terraform, Ansible, Apache Nifi, Python, Bash, SQL, Openmetadata, Datalake
PROFIL : Ingénieur DevOps Data / DataOps disposant d'une expérience opérationnelle en automatisation d'infrastructure et en industrialisation de flux Data.
Le candidat devra être capable d'intervenir aussi bien sur l'exploitation des outils que sur l'automatisation et l'enrichissement des métadonnées.
Une expérience concrète d'Apache NiFi, associée à la maîtrise de Terraform, Ansible et Python, sera particulièrement recherchée.