Data Engineer — Pipelines Robustes & DataOps Expert
Posted Updated
Description
happn recherche un Data Engineer passionné par la conception de pipelines de données robustes et performants. Vous travaillerez au sein d’une équipe Data pluridisciplinaire, dynamique et collaborative, avec des Data Scientists, Data Engineers et Analysts, et participerez à l’innovation produit.
Vous concevrez et maintiendrez des flux ETL/ELT, intégrerez diverses sources vers l’entrepôt et déployerez des applications métiers sur Kubernetes/Docker, tout en garantissant sécurité et conformité RGPD.
Concevoir, développer et maintenir les flux d’ingestion et de transformation de données (ETL / ELT) en mode batch ou temps réel. Connecter diverses sources de données vers l’entrepôt de données et alimenter les modèles de scoring, segmentation, et alerte. Mettre en place des flux Reverse ETL résilients et monitorés. Modéliser et optimiser les schémas de données pour l’analyse (Data Modeling, Star Schema, Lakehouse). Assurer la performance des requêtes et la scalabilité de l’infrastructure cloud. Déployer et maintenir des applications métiers sur mesure (ex. Streamlit). Industrialiser les processus via des pratiques DevOps (Git, CI/CD, IaC). Accompagner les équipes Analytics, Finance, Marketing et Produit sur leurs besoins data. 5 ans minimum d’expérience en data engineering, DataOps ou DevOps orienté data. Très bonne maîtrise de Python et SQL, et à l’aise avec le shell et Linux. Très bonne maîtrise de Java, Scala. Expérience solide en CI/CD (Cloud Build, GitHub Actions ou équivalent) : tests automatisés, déploiements, gestion des environnements dev / preprod / prod. Maîtrise des conteneurs (Docker) et connaissance de Kubernetes (cluster, workload, pod). Expérience de l’exploitation de pipelines en production : orchestration (idéalement Airflow), monitoring, alerting, gestion d’incidents et post-mortems. Culture de l’observabilité et de la qualité de donnée : SLA de fraîcheur, tests de données, détection d’anomalies. Expérience d’un cloud public, idéalement GCP (BigQuery, GCS, IAM, Secret Manager), et sens du coût (FinOps). Réflexe d’automatisation : tout ce qui est fait deux fois à la main devient un script ou un job Capacité à échanger avec des équipes non techniques et avec les équipes infra / back-end ; français et anglais.Skills
Sign in to read and join the discussion.