Data Engineer

Insight Conseils et Portage est une société de portage salarial spécialisée dans l’accompagnement des consultants indépendants et des entreprises du secteur IT.

Nous recrutons un Data Engineer dans le cadre de projets Data Product pour une mission chez l’un de nos clients. Cette mission a un impact majeur sur le business car vous garantissez l'accessibilité, la fiabilité et la qualité des données au service des différentes équipes qui ont des besoins relatifs aux données de pricing. Vous jouez un rôle pivot dans le succès des nouveaux projets d'intégration d'outils et l'évolution de ses systèmes.

Opportunité possible en CDI ou en portage salarial.

Localisation : Métropole Lilloise

Stack technique :

Databricks (gestion des clusters, optimisation des performances des workload Big Data, mise en place d'une gouvernance solide)

SQL (Modélisation, Optimisation des traitements)

DBT (industrialisation, documentation et testing des modèles de données)

Python / PySpark (transformation et traitement des données)

Astro/ Airflow pour garantir la fiabilité des chaines de production Data

• Concevoir, construire et maintenir des infrastructures et des pipelines robustes et performantes
• Garantir une architecture et une modélisation des flux optimisés et évolutives.
• Garantir la qualité du code et promouvoir les meilleures pratiques.
• Garantir la clarté et la pérennité des développements par une documentation rigoureuse.
• Apporter une expertise et aider l'équipe à prendre les meilleurs choix techniques.
• Transformer la stack legacy vers les nouveaux standards de la Data Platform.
• Garantir un RUN de qualité (SLA) selon le principe "You build it, you run it".
• Assurer la qualité, la fiabilité et la gouvernance des données de pricing

Votre profil :

• Vous avez une expérience significative en tant que data engineer acquise en environnement agile (Scrum) aussi bien sur des sujets techniques et fonctionnels, avec un intérêt pour le RUN (support et exploitation) ainsi qu’une aisance relationnelle pour interagir avec plusieurs acteurs.
• Vous savez développé une approche simple sans over engineering.
• Concernant le stack technique, vous avez une expérience significative sur Data Bricks, SQL, DBT, Python / Pyspark ainsi que sur Astro / Airflow
• Une expérience sur AWS et Spark Scala seraient un plus.
• Vous participez au code review et êtes attachés aux principes de CI/CD via des outils tels que Git/GitLab/GitHub.
• La pratique de l’Anglais est nécessaire, a minima à l'écrit, pour interagir au quotidien avec des acteurs internationaux non francophones.