Data Engineer Confirmà – Full Remote
Summary
Build and optimize data pipelines for an energy company using Airflow, Python, and Trino, while auditing and improving existing workflows and collaborating with non-technical teams.
Data Engineer Confirmé – Full Remote
Mission de longue durée avec un déplacement mensuel en Centre-Val de Loire. Le poste est majoritairement en télétravail, avec un déplacement occasionnel.
Contexte de la mission
Remplacement au sein de la DSI d’un acteur majeur du secteur de l’énergie. Vous interviendrez en binôme avec une ressource interne et collaborerez étroitement avec des équipes métiers, notamment des profils scientifiques non IT.
Objectifs de la mission
Reprendre et améliorer un environnement Airflow présentant certaines limites afin de proposer des axes d’amélioration concrets, tout en apportant votre recul, votre analyse des pratiques et votre expertise technique.
Missions principales
- Réaliser un audit complet de l’existant Airflow (organisation, usage, performance)
- Identifier les axes d’amélioration, les optimisations possibles et les risques techniques
- Optimiser les pipelines existants et développer de nouveaux flux data
- Intervenir sur des sujets de contrôle documentaire et de qualité des données
- Mettre en place des contrôles de cohérence et faire évoluer les flux data
- Accompagner les équipes métiers dans l’analyse de leurs problématiques
- Collaborer avec les différentes parties prenantes (métiers, DSI, responsables fonctionnels)
- Produire une documentation technique complète dans un environnement fortement normé
Environnement technique
- Airflow
- Python
- Trino
- PostgreSQL
- DBeaver
- Power BI / MSBI (apprécié)
- SSIS (ponctuel)
- AWS
- Pipelines data
Livrables attendus
- Audit de la plateforme Airflow
- Recommandations d’amélioration
- Pipelines optimisés et/ou développés
- Documentation technique détaillée
- Support aux équipes métiers
Compétences requises
- Airflow : niveau confirmé (indispensable)
- Python : niveau confirmé (indispensable)
- PostgreSQL : requis
- Trino : souhaité
- DBeaver : apprécié
- Power BI / MSBI : un plus
- SSIS : secondaire
Expérience
- Minimum 2 à 3 ans sur Airflow
- Expérience en développement de pipelines data
- Expérience en audit et optimisation d’environnements existants
Compétences fonctionnelles
- Capacité à challenger l’existant et à proposer des améliorations
- Bon niveau de communication avec des interlocuteurs non techniques
- Capacité de vulgarisation
- Rigueur rédactionnelle et sens de la documentation
- Aisance dans des environnements exigeants et structurés
Contraintes
- Français courant requis
- Casier judiciaire vierge