腾讯游戏-大模型推理性能优化工程师/专家
Description
在腾讯,后台开发工程师不仅是“又快又稳”的问题解决专家,更是生态共创者。你将与技术团队一同沉淀优质代码,让它成为我们共有的宝贵资产。在不同的业务场景和技术发展阶段,你的架构思维也将帮助更多协作团队拓展新的思考。我们也珍视你的挑战精神,同时欢迎你一起参与团队愿景、文化和产品方向的探讨。
1.与大模型算法同学深度合作,联合优化,打造行业领先的高性能推理引擎,支持LLM/VLM/DiT等模型的高效部署;
2.推理性能极致优化、包括PD分离、低比特计算、并行优化、算子优化等,提升大规模分布式推理系统的整体效率;
3.支持主流GPU和异构AI芯片,优化大模型推理性能,打造极致性能成本优势。
1.熟练掌握C/C++、Python编程语言,具备良好的coding和调试能力;
2.熟悉主流大模型推理框架,如vllm,sglang,tensorrt-llm等,具备语言、多模态模型大规模部署和优化经验;
3.熟悉并行策略,如数据并行、流水线并行等,熟悉NVLINK、GPU RDMA通信者优先;
4.熟悉各类深度学习网络和算子底层实现细节,有实操经验优先;
5.熟悉主流开源模型及其架构特点,具备针对不同模型进行分析优化的能力优先;
6.具备GPU、AI芯片体系结构知识,熟悉芯片特性,具备系统性能分析和调优经验优先。