Agent评测工程师
Summary
Agent Evaluation Engineer on Meituan's Turing team: designs benchmarks and evaluation frameworks for base models and end-to-end LLM agents, builds/iterates benchmark datasets and annotation QA pipelines, and develops evaluation tooling (Java/Python, vibe coding/automation) to drive AI product improvements across business lines.
评测体系建设：设计覆盖基座模型、端到端Agent、用户体验等场景的评测框架和标准，保障评测可解释可复现，并主导Benchmark数据集构建与持续迭代，防控数据污染与评测失效；
数据生产与质量管控：主导评测方案设计，建立标注规范与质检体系，同时与数据团队协作，保障大规模数据生产的稳定性与准确性
沉淀团队评测方法论，输出可复用框架与工具
1.计算机、人工智能、统计学、数学或相关专业，本科及以上学历
2.熟悉业界主流评测工具集和评测集，有独立设计评测框架和评测标准经验
3.沟通表达能力优秀
4.熟悉Java或Python，有实际开发、测试开发或评测工具开发经验优先
5.具备模型和AI产品分析能力，根据评测结论提出优化建议，驱动优化落地
6.关注业界前沿AI模型和产品发展，关注AI前沿评测方法发展，并转化为内部评测实践，并且能够熟练借助AI工具进行7.具备Vibe coding或自动化流程搭建能力，支持方案快速验证与落地迭代
8.对AI和大模型领域有激情，乐于挑战模糊的事情，喜欢找办法解决问题，具备较强的团队协作能力、组织协调能力
如今Agent项目百花齐放，什么才是好的评测？评测在多样的业务中如何落地并推动Agent迭代？
在我我们图灵评测团队，你可以借助团队成熟的方法论，BP至业务方，在不同业务实践中打磨跨领域评测的认知和方法论