Data Engineer Senior Big Data / Spark – Cloudera (H/F)
Summary
Senior Data Engineer builds and maintains large-scale data pipelines using Spark, Hadoop Cloudera, and SQL to ingest, transform, and deliver analytics for a major enterprise.
Contexte de la mission
Dans le cadre du renforcement d'une équipe Data au sein d'un grand groupe, nous recherchons un Data Engineer expérimenté pour intervenir sur des projets stratégiques de collecte, transformation et valorisation de la donnée dans un environnement Big Data. Le consultant évoluera au sein d'une equipe agile en collaboration avec les équipes métiers, PO/BA, architectes et développeurs.
Vos missions
Participer à la définition de l'architecture Data en lien avec les architectes et l'équipe projet.
Analyser les besoins métiers avec les PO/BA et proposer des solutions adaptées.
Concevoir et développer des pipelines Data et des traitements ETL.
Développer des solutions d'ingestion, de stockage et de transformation de données provenant de multiples sources.
Automatiser et orchestrer les flux de données batch et streaming.
Mettre en place les tests unitaires et automatisés.
Déployer les solutions sur les différents environnements.
Assurer le support de production, le suivi des incidents et l'amélioration continue des performances.
Contribuer à l'amélioration des bonnes pratiques de développement et de qualité de code.
Environnement technique
Big Data : Hadoop Cloudera
Traitement de données : Spark (Batch et Streaming)
Langages : SQL, xDI
Bases de données SQL : Teradata, Hive, Phoenix
Bases NoSQL : HBase, MongoDB
DevOps & CI/CD : Git, Jenkins, Artifactory, XL Release
Monitoring : ELK Stack (Elasticsearch, Logstash, Kibana), Grafana
Méthodologie : Agile / Scrum