Ingénieur DevOps / Lakehouse expert H/F
Summary
Build and run Kubernetes-based lakehouse platforms for a large bank’s data stack, automating deployments with GitOps and optimizing Spark/Trino workloads.
Vous êtes Ingénieur(e) DevOps / Lakehouse expert(e)?Devenez partenaire des grandes évolutions chez CA-GIP !
CONTEXTE :
Le Pôle Compute & Cloud Experience est le point d’entrée unique pour les infrastructures supportant les applications et leurs cycles de vie.
Afin de délivrer efficacement les produits aux utilisateurs, le Pôle s’appuie sur un catalogue de produits conçu pour couvrir la grande majorité des besoins.
Le Pôle doit également être capable de gérer certaines spécificités hors catalogue.
Le domaine d’expertise Data & AI est en charge de l’ensemble des offres relatives à la gestion de bout-en-bout de la Data et est découpé en plusieurs périmètres. Il intègre notamment les solutions de plateforme Data Modernes de type Lakehouse.
L'équipe BIG DATA, gére les solutions existantes en particulier l'équipe Flexible Lakehouse qui a la responsabilité de l'offre de service du même nom construit autour de différent services d’infrastructures et de produit packagé, déployés on premise sur des clusters kubernetes orienté DATA.
MISSIONS :
En qualité d'Ingénieur(e) DevOps / Lakehouse expert(e), vos principales missions seront les suivantes :
- Implémentation et administration avancée de Kubernetes : déploiement et gestion d’un cluster Kubernetes de bout en bout, sans dépendance aux interfaces graphiques
- Automatisation et industrialisation : mise en place de pipelines CI/CD avec GitOps (ArgoCD, FluxCD, etc.)
- Optimisation et haute disponibilité : mise en œuvre de stratégies de scaling, monitoring avancé (Prometheus, Grafana), et gestion de la résilience
- Support et RUN : assurer le maintien en conditions opérationnelles en mode GitOps, sans aucune intervention manuelle
- Déploiement et administration avancée des applications Spark, Trino ou Jupyter sur Kubernetes
- Tuning et optimisation des performances : ajustement des configurations, analyse des logs, debugging avancé, optimisation des requêtes SQL (Trino), tuning des jobs Spark
- Sécurisation et monitoring avancé : implémentation de métriques et alertes sur Prometheus, Grafana, Loki, gestion des accès et des logs applicatifs
#LI-DNI