Spark Data Engineer | PySpark & Big Data (Remote)
Posted
Summary
Data engineer at Groupe SII Ouest migrating legacy processing to Apache Spark: building ETL/ELT pipelines in PySpark, optimizing SQL queries in a Big Data environment, and working with Cloudera/Hadoop, Hive and Impala, plus testing, production deployment and technical documentation.
Groupe SII Ouest recherche un spécialiste Data pour migrer des traitements vers Apache Spark, développer des pipelines ETL/ELT en PySpark et optimiser les requêtes SQL dans un contexte Big Data.
Vous interviendrez sur Cloudera/Hadoop, Hive et Impala, participerez aux tests et à la mise en production, rédigerez la documentation technique et contribuerez à l’amélioration continue des performances.