Data Engineer / Développeur Big Data (F/H)
Posted Updated
Description
SII Group recherche un analyste data pour accompagner la migration de flux vers une plateforme Data moderne fondée sur Apache Spark. Vous contribuerez à l’analyse, à la conception et à l’optimisation des traitements de données, dans un contexte Big Data.
Vous développerez des pipelines ETL/ELT en PySpark, optimiserez les requêtes SQL et travaillerez sur les environnements Cloudera/Hadoop, Hive et Impala, en participation aux tests et mises en production.
Analyser et migrer des traitements vers Spark. Développer des pipelines ETL/ELT en PySpark. Optimiser les requêtes SQL et les performances des traitements. Intervenir sur Cloudera/Hadoop/Hive/Impala. Participer aux tests et validations des flux migrés. Analyse et migrer des traitements vers Apache Spark. Développer des pipelines ETL/ELT en PySpark. Optimiser les requêtes SQL et les performances des traitements. Intervenir sur les environnements Cloudera/Hadoop, Hive et Impala. Participer aux phases de tests et de validations.Skills
Sign in to read and join the discussion.