Skip to content
Search jobs inside your AI agent. Claude, ChatGPT, Claude Code, Codex, Gemini, Cursor and Grok
Connect

ByteDance

Open 17d

AI评测专家(办公场景)-集团信息系统

Posted Updated 16 views

Description

1、负责办公场景AI评测体系的整体规划与建设,打通离线评测、在线实验、线上监控到问题归因的端到端质量闭环,作为智能助手、文档、会议、知识问答等产品的质量守门人;
2、主导评测指标体系与评测集的设计与迭代,覆盖任务完成率、事实性、指令遵循、有用性、安全合规、鲁棒性、时延与成本等维度,制定评分规范与质量校验标准;
3、设计与建设评测工程能力(批量评测流水线、评分服务、回归测试、数据版本管理、LLM-as-a-Judge与人工评审校准),保障评测结果可复现、可追溯;
4、深度参与模型研发流程,通过量化分析定位模型短板、做负面案例归因,与模型/算法团队紧密协作,形成“发现问题→归因→调优→验证”的闭环;
5、跟踪前沿评测技术与Benchmark趋势,建立内外部模型能力对标体系,输出评测报告与技术洞察,为产品和技术决策提供数据支撑。

1、计算机、人工智能、数学、统计等相关专业硕士学位及以上;
2、扎实的算法基础与工程实现能力,熟悉Python,具备系统开发经验,理解评测端到端工程;
3、深入理解大模型原理与评测方法,有LLM/多模态/智能体相关评测或研发经验,具备研究背景、能独立设计实验与定义度量者优先;
4、具备指标设计能力,能从产品目标出发定义可度量的质量指标,理解指标适用边界与“指标被刷”的陷阱;
5、有与模型团队协作定位问题、做归因分析并推动模型迭代的实战经验,结构化思考,强主人翁精神,优秀的跨团队沟通与影响力。

加分项
1、有办公/生产力场景AI产品的评测经验;
2、主导或深度参与过大模型预训练/微调/RLHF,理解模型训练与评测的相互作用;
3、熟悉主流评测框架(如OpenCompass等)或参与过相关开源项目;
4、在顶会(NeurIPS、ICML、ACL、EMNLP等)发表过大模型/评测相关论文。

Skills

Apply