VR/XR 算法与系统工程师(实时空间视频方向)
Description
团队介绍:
加入生数科技 Vidu S 团队,探索实时视频生成与 VR/XR 的结合,让 AI 生成的角色和场景以立体、流畅、可交互的方式呈现在用户眼前。你将重点负责实时单目转双目视频算法,以及算法在 VR/XR 设备上的应用落地,推动技术原型成为稳定、舒适的产品体验。
职位描述:
1、研发实时单目转双目视频算法。 面向持续输入的视频流,研究和优化深度估计、视图合成与遮挡区域补全等方法,解决深度抖动、边缘伪影、左右眼不一致等问题,提升立体效果、时序稳定性与观看舒适度;
2、完成 VR/XR 应用开发与算法集成。 在 Meta Quest、PICO、Apple Vision Pro 等主流设备上开展开发,根据设备能力设计端侧或端云协同方案,打通视频接入、编解码、算法推理、双目渲染与基础交互链路,完成真机验证与适配;
3、优化端到端实时性能。 与视频生成、推理优化及音视频团队协作,分析生成、传输、双目转换和显示各环节的耗时,降低首帧与交互响应延迟,改善播放卡顿和双目同步问题,并控制算力、内存与功耗;
4、建立效果评测与体验迭代流程。 从立体质量、时序一致性、视差范围、延迟和观看舒适度等维度评估效果,结合真实头显体验持续优化;与模型团队协作,提出双目、深度或多视角视频的数据需求,参与数据质量筛选与评测样例建设。
1、视觉或图形学基础: 理解相机几何、深度、视差与立体成像原理;在单目深度估计、单目转双目、立体匹配、新视角合成等至少一个相关方向有实际研发经验,能够分析视频中的几何、遮挡与时序一致性问题;
2、算法与工程能力: 熟悉 Python、PyTorch 等算法研发工具,具备模型训练或优化、效果评测与推理部署经验;具备 C++ 或相关高性能开发经验,能够通过性能分析定位并解决实际系统中的瓶颈;
3、VR/XR 开发经验: 有至少一种主流 VR/XR 设备的实际开发经验,熟悉相应的 Unity、Unreal Engine、OpenXR 或平台原生开发体系,能够完成头显应用开发、算法集成、双目视频呈现与真机调试;
4、实时系统与落地能力: 理解延迟、吞吐、同步和资源占用对实际体验的影响,能够在画质、立体效果、响应速度与设备算力之间做出合理权衡,并通过实验和真机测试验证效果;能够与算法、工程及产品团队协作,推动原型走向稳定应用。
加分项
1、有双目或多视角视频采集、相机标定、时序同步、深度数据制作、合成数据生成或训练数据集建设经验;
2、有模型蒸馏、量化、剪枝、算子优化或移动端 GPU/NPU 部署经验,曾实际改善模型延迟、内存占用或算力成本;
3、有低延迟音视频传输、硬件编解码、音画同步或云渲染经验,熟悉 WebRTC 等相关技术;
4、有视频生成模型、双目一致性训练、VR180/全景视频、头部追踪、重投影或视角响应相关经验。
欢迎在简历中附上相关 Demo、项目视频、开源代码或技术成果,说明个人负责的部分,以及测试设备、分辨率、帧率、延迟或资源占用等实际指标。