模型训练优化工程师 - PICO
Description
团队介绍:作为一家拥有自主创新和研发创造能力的科技品牌,PICO致力于成为领先的世界级XR平台,成就开发者与创作者,共同为全球消费者创造更美好的生活体验。我们开创性地将虚拟现实扩展到了多个领域,为运动、视频、娱乐等消费级场景带来了全新体验;并广泛应用在教育、医疗和企业培训等商用场景,给全球企业级用户提供了多元化的VR解决方案。
1、负责大模型训练系统的研发和性能优化,持续提升训练吞吐、硬件利用率、扩展效率与任务稳定性,并参与相关推理系统优化;
2、负责NVIDIA GPU、昇腾NPU等异构硬件的引入、适配与训练框架集成,解决算子、通信、显存、精度和稳定性问题;
3、与算法团队深度协作,开展算法与系统联合优化,包括分布式训练、高性能计算、数据管理和资源调度等方向,建设训练性能分析、问题诊断和自动化优化工具,提升大规模训练任务的研发效率与算力资源利用率。
1、熟练掌握Linux环境下的C/C++与Python,具备扎实的计算机体系结构、并行计算和系统编程基础;
2、熟悉至少一种大模型训练框架,包括但不限于Megatron-LM、FSDP、ms-Swift、VeOmni等,理解数据并行、张量并行、流水线并行、专家并行及ZeRO等技术;
3、具备NVIDIA GPU与昇腾NPU平台上的大模型训练实战经验,熟悉CUDA、NCCL以及CANN、HCCL、torch_npu等相关技术栈,能够独立完成模型适配和性能分析;
4、参与过硬件加速器训练相关研发工作,具备Torch Compiler、算子开发、编译或调度优化等至少一个方向的实践经验;
5、熟悉混合精度、显存优化、计算通信重叠、训练稳定性治理及性能Profiling,能够通过吞吐、MFU、扩展效率等指标验证优化效果;
6、具有独立解决问题的能力、良好的团队合作精神和优秀的复杂问题拆解能力,具有强烈的工作责任心,以及良好的学习能力、沟通能力和自驱力。
加分项
1、熟悉LLM、NLP、CV、语音相关算法与技术,具有大模型训练、Diffusion或强化学习算法经验;
2、具有百卡、千卡及以上规模集群的大模型训练落地经验。
Skills
Sign in to read and join the discussion.