AI Software Engineer · LLM Evals & Model Routing
Summary
Senior AI engineer at a pre-seed startup building an AI gateway that routes every LLM request. You own model evaluations — reproducible benchmarks on client data — and the routing algorithm balancing quality, cost and latency, coding in Python on AWS (vLLM, DVC, GitHub Actions, Claude Code). Paris-based, onsite with ~1 remote day/week.
Stakha recrute un Senior AI Engineer (up to 120 k€ + equity) pour une startup qui vient de boucler un pre-seed de 2,5 M€. La bêta est ouverte et vous rejoignez l’équipe avant le lancement public.
À partir de quel gain de qualité vaut-il la peine d’appeler un modèle plus cher ou plus lent ? La startup construit une AI gateway qui prend cette décision à chaque requête. Pour y parvenir, elle benchmarke des dizaines de modèles sur les données réelles de chaque client. Les résultats sont auditables et alimentent directement le moteur de routing.
🎯 Le rôle
Vous prenez en charge les évaluations et l’algorithme qui transforme leurs résultats en décisions en production. Aux côtés du CTO, vous décidez ce qu’il faut mesurer, comment valider les gains et quels résultats justifient de changer le modèle appelé. Vous écrivez et déployez le code qui applique ces décisions.
🧠 Missions
- Construire des benchmarks reproductibles sur les données clients et analyser les cas où les modèles échouent.
- Améliorer l’algorithme de routing pour arbitrer entre qualité, coût et latence à chaque appel.
- Étendre les évaluations du texte à l’image et à l’audio.
- Optimiser le prompt caching, tester de nouvelles méthodes et mettre en production celles qui améliorent le produit.
✅ Profil recherché
- 5+ ans en software engineering, IA ou backend, dont 1 XP en ML/DL et 1 an à construire des agents IA en production.
- Vous savez passer d’une intuition à une expérience rigoureuse, puis expliquer ce que les résultats permettent de décider.
- Vous êtes aussi à l’aise pour analyser les erreurs d’un modèle que pour écrire une API, travailler sur une codebase partagée et déployer sur le cloud.
- Vous développez au quotidien avec des outils comme Claude Code et savez ajuster vos choix au contact des utilisateurs.
🛠 Stack · Python, AWS, vLLM, DVC, GitHub Actions, Claude Code
💰 Salaire · up to 120 k€ selon séniorité + equity
📍 Localisation · Paris. Présentiel par défaut, ≈1 jour de télétravail / semaine.
⚡ Démarrage · ASAP
🔍 Process de recrutement
- Call d’intro de 30 min
- Call intro CTO - 30 min
- Entretien coding et software engineering de 45 min en visio avec le CTO.
- Entretien IA de 45 min avec le CTO, échange de 30 min avec le CEO, puis café ou déjeuner avec les fondateurs.
- Prises de références + Offre
💡 Pourquoi les rejoindre
- Votre code décide où part chaque requête. Une meilleure méthode d’évaluation peut changer le modèle utilisé et, avec lui, la qualité, le coût ou la latence pour le client.
- Vous arrivez au moment où ces choix se font. Les premiers bêta-testeurs sont déjà branchés et vous pouvez encore façonner la méthode d’évaluation et l’algorithme avant le lancement.
- Vous avez la main sur toute la boucle. Avec le CTO, vous partez d’une hypothèse sur les modèles, la testez sur des données réelles et déployez vous-même le changement.
À propos de Stakha
Stakha accompagne les talents tech et produit vers des rôles à forte responsabilité en startup.
📩 Retrouvez nos offres sur stakha.io/jobs.
Skills
Sign in to read and join the discussion.