Data Scientist / AI Models
Posted Updated 14
views
Summary
Hybrid Madrid role at Fujitsu evaluating and monitoring LLM/GenAI models in production: benchmarking providers like OpenAI and Anthropic on performance, latency and cost, building testing/evaluation pipelines and dashboards, and working with IAOps/MLOps teams on observability and AI governance. Needs 2+ years' experience, AWS skills, and fluent Spanish and English.
✔️¿Cuáles serán tus responsabilidades?
- Evaluar y comparar modelos LLM (OpenAI, Anthropic, etc.) en términos de rendimiento, latencia y costes.
- Monitorizar cambios y deprecaciones de modelos IA y evaluar su impacto en entornos productivos
- Optimizar estrategias de prompting según el comportamiento y capacidades de cada modelo.
- Definir e implementar frameworks de testing para soluciones GenAI.
- Ejecutar testing de regresión, testing de prompts y evaluación de outputs.
- Diseñar pipelines de evaluación y monitorización de modelos IA.
- Desarrollar dashboards y visualizaciones para seguimiento y análisis de resultados.
- Colaborar con equipos IAOps/MLOps en observabilidad, logging y gobierno de modelos.
- Generar recomendaciones para selección de modelos, optimización de costes y mitigación de riesgos.
- Participar en la gestión del ciclo de vida y gobierno de modelos IA en producción.
- Trabajar en coordinación con equipos locales e internacionales.
✔️¿Qué habilidades y experiencia requerimos de ti?
- Experiencia de más 2 años en posiciones similares.
- Titulación universitaria en Ingeniería Informática, Telecomunicaciones, Matemáticas u otras titulaciones STEM relacionadas.
- Experiencia sólida con LLMs en entornos productivos.
- Experiencia en GenAI enfocada en auditing, evaluating y monitoring.
- Experiencia con AWS: Bedrock, SageMaker, Lambda y CloudWatch.Conocimiento en Prompt Engineering.
- Experiencia con frameworks de evaluación de LLMs como RAGAS, DeepEval o similares.
- Experiencia en A/B testing y experimentación.Conocimiento de observabilidad y monitorización de soluciones IA.
- Comprensión del gobierno de IA y ciclo de vida de modelos.
- Nivel fluido de español e inglés.
- Modalidad híbrda Madrid.
#Europe_Priority