数据技术及产品部-大模型评测算法-coding方向

1.主导评测体系建设：定义 Coding 能力分层、场景覆盖与评价标准，建立兼顾真实性、区分度、可复现性和迭代效率的评测方案。
2.研发高质量评测数据：围绕真实代码仓库与研发流程，建设任务采集、自动化合成、难度校准与质量控制机制，解决数据污染、任务歧义和评测集饱和等问题。
3.研发自动化判分方法：结合编译执行、单元测试、集成测试、静态分析与模型裁判，评价功能正确性、需求遵循、代码质量及变更合理性，提升判分准确性与抗投机能力。
4.建设 Coding Agent 评测环境：支持代码检索、工具调用、终端操作、环境配置、测试调试等完整研发流程，解决执行隔离、环境复现、长程任务评测与运行稳定性问题。
5.开展能力诊断与归因：结合任务结果和执行轨迹，定位模型在代码理解、规划、编辑、调试与工具使用中的关键短板，形成可验证的改进建议。
6.推动评测与研发闭环：与模型训练、算法、产品及工程团队协作，将评测用于模型选型、训练数据优化、版本回归与发布决策；主导重点项目并指导团队成员。

1.硕士及以上学历，计算机及相关专业；具备扎实的算法、软件工程和机器学习基础。
2.具备大模型 Coding、Coding Agent、程序分析、自动化测试或模型评测相关经验，曾独立主导复杂技术项目，并对方案设计与最终效果负责。
3.深入理解代码生成与智能体评测方法，熟悉 HumanEval、LiveCodeBench、SWE-bench 等代表性基准，能够分析其适用范围、局限及潜在评测偏差。
4.具备优秀的工程能力，熟练掌握 Python，并熟悉至少一门主流开发语言；能够处理真实项目中的依赖、构建、测试和调试问题，具备仓库级开发经验。
5.具备评测数据与实验设计能力，能够系统处理任务难度、区分度、覆盖度、判分一致性、统计置信度及数据泄漏等问题，而非仅依赖单一榜单指标。
6.具备较强的技术判断、问题抽象与跨团队推动能力，能够在目标不完全明确的情况下定义问题、拆解路径，并持续交付可衡量的技术成果。
加分项
1.主导过 Coding Benchmark、Coding Agent 或大规模代码评测平台建设，有真实研发场景落地成果。
2.在代码任务合成、测试生成、执行式验证、程序修复、轨迹分析或裁判模型方面有深入实践。
3.有利用评测驱动模型训练、后训练或 Agent 产品优化的成功经验。
4.在相关领域有高质量论文、开源项目或有影响力的技术成果。