AI Engineer GCP - Agent conversationnel - Freelance (H/F)
Summary
Freelance mission (TJM €600) to maintain, evaluate and continuously improve a production conversational AI agent that lets business teams analyze their data in natural language via chat. Work centers on LLM-as-a-judge evaluation, A2UI/A2A protocols, and a native GCP stack (Vertex AI/Agent Platform, Cloud Run, Python, SQL).
Contexte :
L'intervention porte sur un agent conversationnel qui permet aux équipes métier d'analyser leurs données en langage naturel, directement depuis une interface de chat. L'agent tourne sur Google Agent Platform et est utilisé quotidiennement en environnement critique.
Mission :
Maintenir, évaluer et faire progresser cet agent en production. Pas un projet from scratch mais une solution vivante qu'il faut industrialiser et améliorer en continu.
*
Évaluer la qualité des réponses de l'agent : construire et maintenir un framework d'évaluation LLM-as-a-judge (métriques, jeux de test, seuils de qualité) pour mesurer objectivement ce que l'agent comprend et produit
*
Intégrer le protocole A2UI pour permettre à l'agent de générer et exposer des graphiques directement dans son interface (analyses visuelles poussées)
*
Mener des analyses LLM avancées : comprendre les dérives de l'agent, identifier les axes d'amélioration, documenter les recommandations
*
Maintenir la plateforme en production : correction d'anomalies, mises à jour des composants, fiabilisation des comportements
Profil attendu :
Bac+5 ingénieur ou équivalent
3 à 7 ans d'expérience en AI Engineering
Autonomie et capacité à prendre en main une solution existante en production
Stack & exigences techniques :
*
Python, SQL
*
GCP natif (Agent Platform / Vertex AI, Cloud Run, Cloud Batch, Pub/Sub, Cloud Logging, Cloud Tracing)
*
Workflows multi-agents & protocoles A2A/A2UI
*
Parsing de données non structurées
*
ADK, LangChain, LangGraph
*
LlamaIndex
*
FastAPI/Pydantic
*
Bases vectorielles
*
Évaluation LLM-as-a-Judge
*
Sécurité IA (anti-prompt injection, filtrage PII/RGPD)
*
Optimisation des coûts tokens