Data Engineer spark scala confirmé - Freelance (H/F)
Posted Updated
Summary
Freelance senior data engineer (5+ yrs) for the Core Data team of a betting & gaming company in Paris: half-run, half-build — keeping an AWS datalake operational and developing high-volume transformation pipelines with Spark/Scala, Python, SQL, AWS services, GitLab CI and Maven.
CONTEXTENous recherchons un Data Engineer confirmé / senior (5 ans d'expérience minimum) pour le Data Office d'une entreprise du secteur des jeux au sein de l'équipe Core Data. Le poste est mi-run, mi-build : maintien en conditions opérationnelles d'un datalake AWS et développement de pipelines de transformation en grande volumétrie.MISSIONS * Maintien en conditions opérationnelles d'un datalake AWS * Développement de pipelines de transformation de données à grande volumétrieSTACK TECHNIQUE * Spark en Scala (maîtrise avancée, cœur du besoin) * Python * SQL * AWS (S3, EMR, EKS, Lambda, Athena) * GitLab / GitLab CI * MavenOUTILS COMPLÉMENTAIRES APPRÉCIÉS * Dataiku (flows et webapp) * Kafka / MSK * Airflow * Terraform * Méthodologie Scrum/SAFeQUALITÉS ATTENDUES * Bon relationnel avec des interlocuteurs variés (métiers, techniques) * Rigueur (documentation, traçabilité) * Capacité à vulgariserCONDITIONS DE TRAVAIL * Secteur : paris et jeux * Localisation : Paris 1. 5 ans d'expérience minimum en Data Engineering 2. Maîtrise avancée de Spark en Scala 3. Compétences en Python, SQL et AWS (S3, EMR, EKS, Lambda, Athena) 4. Maîtrise de GitLab / GitLab CI et Maven 5. Un plus : connaissance de Dataiku (flows et webapp), Kafka / MSK, Airflow, Terraform, et méthodologie Scrum/SAFe 6. Qualités relationnelles : bon relationnel avec interlocuteurs métiers et techniques 7. Rigueur dans la documentation et la traçabilité 8. Capacité à vulgariser