Data Engineer Hadoop/PySpark – Charenton-le-Pont (IT) / Freelance
Summary
Freelance Data Engineer placement via Onyx-Conseil for a large banking group's IT department in Charenton-le-Pont, France. Day to day: designing data ingestion flows and building/reliabilizing PySpark + shell pipelines on the datalake, working alongside devops teams using Hadoop, Hive, SQL, Git and Jenkins.
Nous recherchons pour le compte de notre client dans le domaine de la banque, un(e) Data Engineer Hadoop/PySpark.
Environnement technique
Hadoop, Python, PySpark, Hive, SQL, Git, Jenkins, Jira, Shell scripting (Unix/Linux), méthodologie Agile/SCRUM. Un plus : Indexima, Alteryx, Altair, GCP/BigQuery, bibliothèques Python orientées API.
Contexte
Au sein de la direction IT d'un grand groupe bancaire, l'équipe Technologies & Opérations met à disposition des différents pôles métiers (transformation, workplace, banque de proximité) l'ensemble des applications nécessaires à leur activité. Dans ce cadre, le consultant interviendra en soutien à l'équipe de production applicative et devops sur les évolutions techniques du datalake du CIO Office.
Missions
Concevoir et déployer de nouveaux flux d'ingestion ainsi que des traitements de préparation et transformation de données
Faire évoluer et fiabiliser les pipelines de données existants, combinant PySpark et scripts shell
Assurer l'interface avec l'équipe devops pour transmettre les besoins d'évolution de la plateforme
Contribuer à la fiabilité, la performance et la qualité globale du datalake
Compétences attendues
Hadoop, PySpark, Python, Hive, SQL, Git, Jenkins, Jira, Shell Unix/Linux, Agile/SCRUM, Anglais professionnel, Indexima, Alteryx, Altair, GCP/BigQuery, API Python