Data Engineer / Ingénieur(e) Data

En tant qu'Ingénieur Data, vous concevez, développez et industrialisez les pipelines de données et l'architecture de notre plateforme Data moderne (Data Lakehouse). Vous garantissez la fluidité, la qualité, la sécurité et la performance des flux de données, de l'ingestion brute jusqu'aux usages analytiques.
Votre rôle :
Vous concevez, développez et maintenez les flux d'ingestion et de transformation des données, en batch et en temps réel, en vous appuyant notamment sur Kafka, Airflow, Nessie, Iceberg et Trino. Vous veillez à leur intégration harmonieuse dans l'architecture globale de la plateforme.
Vous participez à l'industrialisation et aux pratiques DataOps en garantissant la robustesse des chaînes d'intégration et de déploiement continu du code data via GitLab et la conteneurisation Kubernetes. Vous veillez à l'automatisation, à la testabilité et à la reproductibilité des traitements à grande échelle.
Vous définissez les modèles de données optimisés, garantissez la qualité, la traçabilité et la conformité des données tout en optimisant les performances des requêtes et des transformations. Vous veillez également au respect des standards de développement, suivez les indicateurs de performance et de disponibilité, et contribuez active-ment à la réduction de la dette technique.
Liaisons hiérarchiques et fonctionnelles : Placé(e) sous la responsabilité hiérarchique du chef du GTI, vous assurez la mise en oeuvre technique des projets data et rendez compte de l'avancement, des risques et des points de blocage nécessitant des arbitrages.
Autres relations : Vous travaillez en relation étroite avec les chef(fe)s de produit afin de traduire les besoins fonctionnels en exigences techniques, d'évaluer la faisabilité et de planifier les livraisons de données.
Vous collaborez avec les architectes du centre serveur pour garantir la cohérence des choix de conception et l'intégration de la plateforme Data dans l'infrastructure cloud du Ministère.
Vous travaillez avec les équipes d'exploitation et de sécurité pour la mise en production, la supervision, la gestion des incidents et la continuité de service des chaînes de traitement.
Vous échangez avec les équipes métiers et les data analysts afin de garantir la mise à disposition de données fiables, exploitables et conformes aux besoins.
Enfin, et de manière transversale, vous participez aux communautés techniques (Ingénieurs Data et Tech Leads) des autres départements de la sous-direction PNM afin d'harmoniser les pratiques, de partager les retours d'expérience et de favoriser la mutualisation des solutions.

Vous justifiez d?un minimum de 5 ans d'expérience dans le domaine du numérique, dont au moins 3 ans sur une fonction d'Ingénieur Data, de Développeur Data / DataOps ou de Référent Technique Data
Titulaire d'un diplôme Bac+5 en informatique, vous possédez une solide expertise technique et une capacité avérée à concevoir, développer et industrialiser des architectures de données complexes
Vous savez communiquer avec clarté auprès d'interlocuteurs variés (développeurs, architectes, chef(fe)s de produit, data analystes). Votre rigueur, votre esprit d'analyse et votre goût pour le partage de connaissances vous permettent de contribuer activement à l'amélioration continue de l'équipe et à la diffusion des meilleures pratiques d'ingénierie
Une expérience dans la mise en oeuvre, l'industrialisation et l'optimisation de plateformes Data Lakehouse ou de pipelines de données massives (batch et streaming), déployés dans des environnements de production critiques avec de fortes exigences de disponibilité et de sécurité, constituera un atout majeur
Compétences recherchées:
Le panel de compétences ci-dessous correspond à un idéal. Il n'est pas exigé de maîtriser toutes ces compétences. Nous encourageons vivement les candidatures de profils présentant une partie significative de celles-ci, y compris lorsqu'elles sont issues de parcours atypiques ou sous-représentés dans la tech
Ingénierie Data, Streaming et architectures Lakehouse :
Vous maîtrisez le développement de pipelines d'ingestion et de transformation de données, en batch et en streaming (Kafka, Airflow, Spark/Trino). Vous connaissez les formats de tables et catalogues modernes (Iceberg, Nessie) ainsi que la modélisation de données à l'échelle. Vous appliquez les principes de conception d'API et de flux d'échange sécurisés pour exposer des données fiables
Kubernetes, Cloud et Pratiques DataOps / CI-CD:
Vous maîtrisez la conteneurisation (Docker, Kubernetes) et la mise en oeuvre de pipelines CI/CD (GitLab CI) appliqués à la Data. Vous êtes à l'aise avec les approches GitOps et l'automatisation des déploiements d'infrastructures et d'applications data (Helm, ArgoCD). Vous intégrez la télémétrie, le logging et l'observabilité des flux de données pour garantir leur suivi en production
Qualité, Sécurité et Optimisation des performances:
Vous savez concevoir des stratégies de tests voire vous maîtrisez l'écriture de tests automatisés (unitaires, d'intégration, de qualité de données) et l'intégration des contrôles de sécurité et de gestion des secrets dans les pipe-lines. Vous savez diagnostiquer, profiler et optimiser les performances des requêtes et des jobs de traitement sur de gros volumes de données
Collaboration et méthode Agile:
Vous participez activement aux rituels agiles de l'équipe, contribuez à la rédaction des spécifications techniques et à la documentation. Vous pratiquez la revue de code croisée et contribuez au partage de veille technique au sein du collectif

Documents à transmettre

Personnes à contacter