Data Engineer F/H
Summary
Designs and implements scalable cloud data pipelines and warehouses for clients using AWS, GCP, or Azure, focusing on ETL/ELT, Spark, and BigQuery.
Responsabilités
- L’audit de configuration cloud de client et des préconisations d’amélioration.
- Proposition d’architectures data cloud native (Au moins un des providers suivants: GCP, AWS ou Azure).
- La mise en place d’entrepôts de données massivement scalable avec BigQuery, Redshift, MongoDB, Athena, CloudSQL, Firestore.
- Le développement de pipelines de traitement de données avec Spark, Dataflow, PubSub, SQS.
- L’analyse des données et leur mise à disposition de processus de Data science (Machine Learning).
- L’onboarding de clients sur les bonnes pratiques et la philosophie cloud et devops.
- La mise en place des bonnes pratiques d’automatisation (CI/CD, GitOps).
- La conduite du déploiement, de l’intégration et du passage en opération de la solution.
Compétences techniques
- Architecture Data : ETL, ELT, Dataflow, Spark, Airflow
- Big Data: BigQuery, Firestore, Redshift, Athena, MongoDB
- Containers & microservices : Docker, Kubernetes, Istio
- Architectures orientées messages : Kafka, PubSub
- Automatisation & Infrastructure as Code (IaC) : Terraform, CloudFormation, Ansible, GitLab, GitHub
- Public Cloud : AWS
- Langages de développement : Python, Go, Java
Profil recherché
Vous disposez de plusieurs expériences en tant que Data Engineer, notamment dans la mise en place de pipelines et le traitement automatisé des données. Vous avez une vraie appétence pour les technologies Cloud. Moteur au sein des équipes, vous êtes naturellement tourné(e) vers la proactivité, le partage et la bienveillance.