【实习】Agentic RL For Long Horizon Task - 剪映CapCut

团队介绍：剪映研发团队，主要支持剪映、CapCut、醒图、Hypic、即梦、Dreamina、小云雀、Pippit等多款国内外产品的研发工作，业务覆盖多元化影像创作场景，并孵化了多款AIGC明星产品，相关产品多次登顶国内外App Store 免费应用榜第一，并继续保持高速增长。加入我们，一起打造全球最受用户欢迎的影像创作和GenAI产品。

课题介绍：
Seedance2.0发布后，创作Agent进入深水区，无论是漫剧/短剧/视频/图片都有新的飞跃，为了快速满足用户高质量的创作需求，尤其是超过15s的成片，需要一个涉及多轮Function Call的创作Agent去完成，涉及大量工具的调用，包括不限于意图，分镜，创意，故事性，故事版等。我们打造基于Agentic RL的Agent赋能业务。
Agentic RL在训练 Long-Horizon Tasks有一系列核心难点，本质上比传统RL更复杂，“Agent”不仅要行动，还要规划、分解任务、记忆上下文。
具体难点：
1、Sparse Rewards；
2、Credit Assignment；
3、Planning & Decomposition；
4、Huge State Space；
5、Memory；
6、Exploration；
7、Optimization Difficulty；
8、复杂的Agent交互环境
我们需要解决Agentic RL在多轮Function Call，多个Tools和Skills下的长任务训练问题。

课题挑战：
1、Sparse Rewards
a、稀疏奖励，如何设计合理的奖励
2、Credit Assignment
a、如何解决信用分配问题
3、Planning & Decomposition
a、如何拆解子目标
b、子目标的合理性
4、复杂的Agent交互环境
a、特别长的上下文
b、很多的Tools or Skills
5、训练的稳定性
a、同步、异步RL
b、Rollout效率

课题价值：
技术价值：
Agentic RL在Long Horizon Task是业内公认的难题，是处理复杂任务，Agent任务必须要攻克的难题，是提升大模型Agent效果上限的关键难题。

业务价值：
1、Long Horizon Task的解决会极大提升剪映各创作agent在处理长任务时的效果，使自研模型对比基座取得行业SOTA；
2、该技术的突破，可以落地更多更复杂的业务场景，尤其对目前的Sandbox Skill等架构有天然的适配。

1、2027届及以后毕业，博士在读，人工智能、计算机科学、数学相关专业优先；
2、技术能力：
1）具备出色的编程能力，精通Python/C++，熟悉TensorFlow/PyTorch等框架，有自然语言处理（NLP）、计算机视觉（CV）或多模态生成模型（如CLIP、Diffusion Models）项目经验；
2）熟悉AIGC工具链（LangChain、AutoGPT）者优先；
3）熟悉大模型理论知识和应用，熟悉常见大模型架构，理解实际业务场景Agent设计理念；有实际大模型预训练、微调或推理优化经验者优先；
3、学术与实践经验：
1）在ACL/CVPR/SIGIR/KDD/NeurIPS/ICCV等顶会发表过AIGC、LLM等相关论文者优先；
2）了解LLM架构，熟悉Multi-Agent技术、Prompt/Context Engineering工程技术，有AI Agent应用经验、AIGC实操经验的优先；
3）热爱视频剪辑，对常用视频剪辑工具有使用经验者优先。