数据技术及产品部-大模型评测算法-work / Personal Agent方向

1.主导评测体系建设：围绕 work 与 Personal Agent，定义能力框架与评价标准，覆盖需求理解、任务规划、工具使用、多轮协作、长期记忆与个性化，兼顾任务效果、执行效率和用户体验。
2.建设真实任务与交互环境：围绕日常办公、金融、法律、医疗、游戏开发、Blender建模、CAD建模等场景，构建可复现的评测任务与仿真环境，支持跨应用操作、动态反馈和长程任务执行。
3.研发评测数据合成与质检算法：建设任务生成、用户交互模拟、难度校准与质量控制机制，覆盖模糊需求、任务变更、信息缺失和异常中断，提升评测的真实性、区分度与多样性。
4.研发自动化判分方法：结合环境状态验证、产物检查、执行轨迹分析与模型裁判，评价任务完成度、内容质量、事实准确性和约束遵循，解决开放式任务、多种合理解及过程与结果不一致的判分难题。
5.评测个性化与可信执行能力：衡量 Agent 对用户偏好、历史上下文和长期记忆的合理利用，以及主动服务、澄清提问、权限边界、隐私保护和高风险操作确认能力。
6.推动能力诊断与研发闭环：定位模型在规划、交互、记忆和工具执行中的关键短板，与训练、产品及工程团队协作，将评测用于模型优化、版本回归与发布决策；主导重点项目并指导团队成员。

1.硕士及以上学历，计算机及相关专业；具备扎实的算法、机器学习与软件工程基础。
2.具备大模型、智能体、模型评测或相关算法研发经验，曾独立主导复杂技术项目，能够负责问题定义、技术方案设计与成果交付。
3.深入理解 Agent 的规划、工具调用、多轮交互、记忆与上下文管理机制，能够将真实用户需求转化为可执行、可验证的评测任务。
4.具备评测算法与实验设计能力，熟悉模型裁判、执行式验证或用户模拟方法，能够系统处理判分偏差、评测稳定性、数据泄漏及模拟环境与真实场景的差异。
5.具备优秀的工程能力，熟练掌握 Python，能够建设自动化评测流程、接入工具与应用环境，并处理状态管理、运行隔离、任务复现和规模化执行问题。
6.具备较强的用户视角、技术判断与跨团队推动能力，能够区分“模型表现良好”与“用户任务真正完成”，在开放、复杂的场景中建立可衡量的技术目标。
加分项
1.主导过办公助理、个人助理、研究型 Agent 或跨应用自动化产品的评测与优化。
2.在长程任务、用户模拟、长期记忆、个性化评测、动态环境或多模态交互评测方面有深入实践。
3.有评测数据自动化合成、裁判模型训练，或利用评测驱动模型后训练与产品优化的成功经验。
4.在相关领域有高质量论文、开源项目或有影响力的技术成果。