Senior Data Engineer, Scale Data Pipelines on AWS
Summary
Senior Data Engineer who helps client companies migrate to AWS and designs scalable data pipelines, reducing their infrastructure costs by up to 40% via FinOps. Core stack: AWS ecosystem tools, Spark, and Airflow, with a 'build small, scale later' approach.
Objectif de la mission:
L'objectif principal est d'aider les entreprises à migrer vers Amazon Web Services (AWS) et de concevoir des pipelines datas scalables en réduisant ainsi leurs coûts d'infrastructure jusqu'à -40% (FinOps).
Missions principales:
Conception et mise en place de pipelines datas scalables sur AWS.
Optimisation des coûts d'infrastructure (FinOps).
Utilisation de Spark, Airflow et autres outils de l'écosystème AWS.
Profil recherché:
Compétences en ingénierie des données et en architecture cloud.
Expérience pratique dans la migration vers AWS et la création de pipelines datas scalables.
Connaissance du logiciel Spark, Airflow et autres outils de l'écosystème AWS.
Pratiques à adopter:
"Build small, scale later". Commencer petit, simplifier, tester puis évoluer Validation précoce et mise en place d'une architecture simple pour une maintenance plus facile Éviter les orchestrations complexes si un simple job suffit.