Data Engineer H/F
Summary
Consulting role placing an experienced data engineer in a banking client's agile data squad in Vannes (3 days/week on-site). Day-to-day: designing and running Spark batch/streaming ETL pipelines on a Cloudera/Hadoop big-data platform, automating ingestion, testing, deployment and production monitoring.
Dans le cadre du renforcement de leur équipe Data, nous recherchons pour notre client, acteur dans le secteur bancaire, un(e) Data Engineer Expérimenté(e) basé(e) à Vannes (3 jours sur site obligatoires). Vous intégrerez une squad agile dans un environnement Big Data à fort enjeu métier.
En tant que Data Engineer Expérimenté(e), vos missions seront de :
- Participer à la définition de l'architecture Data en lien avec les architectes et la squad
- Concevoir et développer des pipelines via ETL interne basé sur Spark (batch et streaming)
- Automatiser l'ingestion de données depuis diverses sources et orchestrer les flux de données
- Mettre en oeuvre les tests unitaires et automatisés et déployer le produit dans les différents environnements
- Garantir le bon fonctionnement en production et assurer le suivi des incidents (monitoring, optimisation)
- Accompagner l'évolution des pratiques de l'équipe dans une logique d'amélioration continue
Ce que propose notre client
Une mission au sein d'une squad agile sur des sujets data à fort enjeu, dans un environnement Cloudera, avec une réelle dimension métier et une proximité forte avec les équipes PO/BA.
- 4 à 7 ans d'expérience minimum sur un poste similaire
Le petit + ?
Vous avez une sensibilité forte aux enjeux métiers bancaires et une expérience en environnement Hadoop Cloudera
Vos expertises, notre force commune
- Maîtrise de Spark (streaming et batch) - requis
- Maîtrise du SQL (Teradata, Hive, Phoenix) - requis
- Connaissance des bases NoSQL (HBase, MongoDB)
- Framework Big Data : Hadoop Cloudera (très fortement apprécié)
- Outils DevOps : Git, Jenkins, Artifactory, XL Release
- Monitoring : ELK Stack (Elasticsearch, Logstash, Kibana), Grafana
- Connaissance de xDI
- Pratique du cadre agile Scrum
- Sensibilité aux enjeux RGPD, data lineage et catalogage
Vos qualités humaines, nos valeurs partagées
- Bonne communication et pédagogie pour collaborer avec les équipes métiers et techniques
- Capacité à challenger les besoins et force de proposition
- Autonomie et adaptabilité dans un environnement agile
- Sensibilité forte aux enjeux métiers
- Capacité à prendre du lead sur les sujets confiés
Experience: 4 An(s)Compétences: Analyser, exploiter, structurer des donnéesQualification: CadreSecteur d'activité: Conseil en systèmes et logiciels informatiques