Skip to content
ClaudeChatGPTCursor

Search jobs inside your AI agent.

Connect

Alibaba Group

NewBe an early applicant

ATH-AI创新事业部-测试开发专家-AI Coding / Agent 方向

Posted 6 views
Discussion

Summary

Test development expert in Alibaba's AI Innovation unit, owning end-to-end quality assurance for AI Coding products (Agents, model services): defining test strategies and quality standards, building automated testing platforms and CI/CD pipelines, and driving QA for large AI projects. Requires 5+ years in test/development with AI product testing a plus.

1、主导 AI Coding 产品的全生命周期质量保障,覆盖客户端、Agent 运行时、模型服务及工具集成等关键链路;制定测试策略、质量标准与发布准入机制,从架构和设计阶段推动可测性、可观测性与稳定性建设;
2、构建面向 AI Coding 场景的测试评估体系,针对非确定性输出、上下文变化、长链路交互和工具调用等特点,设计真实任务集、评测指标与回归方案,持续评估任务成功率、生成代码正确性及执行可靠性;
3、设计和开发自动化测试框架与质量平台,打通单元、接口、端到端测试及 Agent 任务评测,融入 CI/CD 流程;提升测试环境与数据的可复现性,支持模型、提示词和 Agent 策略变更的效果对比与退化检测;
4、主导关键场景的性能、稳定性与安全边界测试,覆盖并发负载、长时间运行、依赖故障、工具权限、数据隔离及异常恢复,识别复杂交互中的质量风险,验证系统在异常和边界条件下的行为;
5、建设线上质量监控、问题复现与执行轨迹分析能力,结合用户反馈开展失败归因和质量复盘;探索利用 AI 辅助用例生成、缺陷发现及问题定位,并验证其实际效果,持续提升质量保障效率;
6、主导中大型项目的质量风险识别与交付保障,协同产品、算法和研发团队推进问题闭环,从真实用户任务与开发者体验出发推动产品改进,平衡交付速度、质量与维护成本。

1、本科及以上学历,计算机科学、软件工程或相关专业,5 年以上测试开发或研发经验,具备复杂系统质量保障及跨团队项目推进经验;
2、对质量工程有系统性理解,具备较强的架构分析、测试设计和风险判断能力,能够结合业务目标制定分层测试策略,并从可测性、可观测性及稳定性等方面推动研发改进;
3、具备扎实的编程能力,熟练掌握 Python、Go、Typescript 等语言中的至少一种,有测试工具、自动化框架或质量平台的实际开发经验,重视代码质量与工程可维护性;
4、理解大模型与 Agent 的基本工作机制,能够针对非确定性输出、多步骤执行和外部工具依赖设计测试评估方案;具备实验设计与数据分析能力,能够区分模型能力、系统缺陷和环境因素带来的问题;
5、熟悉 CI/CD、自动化测试及线上问题排查,具备将质量检查融入研发流程的实践经验;能够结合日志、指标与调用链定位问题,并推动形成可复现、可回归的验证方案;
6、具备用户视角与产品体验意识,对异常分支、边界条件和质量退化敏感;沟通清晰、责任心强,能够主动协调跨团队资源,推动技术方案落地与问题闭环,持续总结和改进质量方法。

加分项:
1、有大模型、Agent、AI Coding 或开发者工具的质量保障经验,深度使用相关产品;有真实任务评测集建设、模型版本对比或 Agent 长程任务测试实践;
2、主导过复杂系统测试架构或质量平台建设,或在性能压测、稳定性测试、故障注入及安全测试等方向有深入实践和可验证的成果;
3、有 AI 辅助测试的实际落地经验、高质量个人技术产品或开源贡献,或具备产品与交互设计相关经验。

Skills

Apply

See also