语义智能算法工程师
视频理解与时序语义建模
- 面向机器人操作、人与物交互及具身智能场景，研发视频理解和时序语义解析算法。
- 从视频及相关传感器数据中提取动作、目标、场景、状态和交互关系等关键信息。
- 研究长视频理解、时序动作定位、动作分段、动作识别及动作边界检测等问题。
- 针对连续操作、复合动作和多步骤任务，建立动作序列与技能语义表示。
- 探索视觉语言模型、视频语言模型、多模态模型及时序模型在具身智能数据理解中的应用。
动作与技能语义解析
- 设计动作类别、技能层级、动作边界及动作属性等语义体系，支持数据编译和机器人技能学习。
- 识别和解析机器人或人类示范中的关键动作，例如抓取、移动、放置、插入、打开、关闭、整理等。
- 分析动作与目标物体、空间位置、交互状态之间的关系，构建结构化语义描述。
- 处理动作的开始、进行、结束及状态变化，提升对复杂任务和长时序行为的理解能力。
- 与数据、机器人及下游算法团队协作，将算法输出转化为可用于训练和评估的数据格式。
数据自动标注与数据编译
- 研发视频数据自动标注、半自动标注和人机协同标注算法。
- 实现动作分段、动作识别、目标识别、目标跟踪及动作—目标关联等能力。
- 建立自动标注结果的置信度评估、错误检测、难例挖掘和人工复核机制。
- 针对不同机器人构型、不同任务和不同采集条件，提升算法的泛化能力和鲁棒性。
- 参与设计从原始数据接入、预处理、模型推理、结果校验到数据导出的完整数据编译流程。
- 通过主动学习、弱监督学习、半监督学习或合成数据等方法，降低人工标注成本。
模型训练、评估与迭代
- 负责相关算法的方案设计、数据准备、模型训练、实验分析和效果迭代。
- 构建覆盖动作分段、动作识别、目标识别及语义解析的评测指标和测试集。
- 针对长尾动作、遮挡、视角变化、光照变化、多人/多物体交互等问题进行专项优化。
- 通过误差分析和数据分析定位模型瓶颈，推动算法、数据和标注策略协同改进。
- 跟踪视频理解、多模态大模型、开放词汇识别和具身智能领域的前沿技术，并结合业务进行落地。
算法工程化与业务落地
- 将算法模型部署到数据生产和标注工具链中，支持规模化数据处理。
- 优化模型推理效率、资源占用和处理吞吐，满足大规模视频数据编译需求。
- 与软件工程师协作，完善算法服务、数据接口、任务调度及结果管理能力。
- 建立算法运行监控、质量反馈和版本迭代机制，保障数据生产流程稳定运行。
- 参与具身智能数据标准、语义规范和最佳实践的建设。
1. 扎实的机器学习与深度学习基础：熟悉监督学习、半监督学习、表示学习、度量学习、目标检测、目标跟踪、动作识别或时序建模等相关方法。
2. 视频理解或视觉算法经验：具备视频理解、时序动作定位、动作分割、行为识别、目标检测、目标跟踪或视频问答等方向的项目经验。
3. 较强的算法实现能力：熟练使用 Python，熟悉 PyTorch 等深度学习框架，能够独立完成数据处理、模型训练、实验分析和算法迭代。
4. 具备多模态建模意识：对视觉语言模型、视频语言模型、Transformer、多模态预训练或大语言模型应用有理解或实践经验。
5. 重视数据质量与工程落地：能够从数据分布、标注一致性、评测指标和业务目标出发分析问题，不只关注单一模型指标。
6. 良好的问题解决能力：能够将开放性问题拆解为可验证的技术方案，并通过实验、分析和迭代推动结果落地。
7. 良好的沟通协作能力：能够与算法、数据、机器人、产品及软件工程团队协作，推动算法能力转化为稳定的数据生产能力。
如果你还会……
1. 有具身智能、机器人、自动驾驶、智能制造或人机交互相关项目经验。
2. 熟悉视频动作分割、时序动作检测、Temporal Action Localization、Action Segmentation 等相关任务。
3. 有视觉语言模型、视频语言模型或多模态大模型微调、评测和应用经验。
4. 熟悉 CLIP、VideoMAE、InternVideo、SAM、Grounding DINO 等视觉或多模态模型及其应用方式。
5. 具备开放词汇检测、零样本识别、少样本学习、域适配或长尾学习经验。
6. 有自动标注、主动学习、弱监督学习、半监督学习或人机协同标注系统经验。
7. 熟悉动作识别、目标识别、目标跟踪、姿态估计、手—物交互分析等相关算法。
8. 有多模态数据处理经验，接触过 RGB、深度、点云、触觉、力觉或机器人状态数据。
9. 熟悉 C++、CUDA 或模型推理优化，有 TensorRT、ONNX Runtime 等部署经验。
10. 有数据平台、算法服务、分布式推理或大规模视频处理系统的工程经验。
11. 熟悉 ROS/ROS2，理解机器人任务、技能和动作数据的基本组织方式。
12. 有开源项目、论文、竞赛成果或较强的技术研究能力。