Senior Software Engineer - AI Agents
Summary
Build and scale AI agent evaluation pipelines that continuously assess production conversations using configurable rubrics and LLM-as-judge frameworks.
Como Senior Software Engineer - Evals Platform en Mercado Libre, diseñarás y escalarás sistemas innovadores y seguros que resuelven problemas reales y de alto impacto. Trabajarás en un entorno dinámico con tecnología de vanguardia, aplicando buenas prácticas de ingeniería, modelos de IA propios y aprendizaje continuo, con el propósito de democratizar el comercio electrónico y los servicios financieros en América Latina.
Imagináte emprendiendo proyectos desafiantes, dinámicos e innovadores y siendo responsable de:
Construir y mantener el pipeline de evaluación continua recolectando conversaciones de producción para evaluarlas de forma programada contra rúbricas configurables.
Evolucionar la plataforma de evaluación continua permitiendo auditar agentes y sus assets en ciclo de vida completo.
Integrar la plataforma en el proceso de mejora continua retroalimentando la selección de modelos y ajuste de prompts.
Diseñar estrategias de evaluación y rúbricas para agentes conversacionales complejos en entornos de alta disponibilidad.
Colaborar con equipos de productos para traducir casos de uso en criterios de evaluación medibles.
¿Qué buscamos en vos?
Poseer conocimientos sólidos en lenguajes como Python o Go y en diseño de APIs RESTful.
Contar con familiaridad en arquitecturas de microservicios, sistemas distribuidos y procesamiento asíncrono.
Tener conocimientos de bases de datos relacionales como MySQL.
Demostrar familiaridad con LLMs, sus APIs y frameworks de evaluación como LLM-as-judge.
Demostrar curiosidad y autonomía para investigar, resolver problemas y trabajar en equipo.
¿Te animás a dejar huella en la tecnología de América Latina? ¡Postulate y sumate a nuestro propósito!
Modalidad de trabajo híbrida. Site Saavedra- CABA.