TIONE-高级推理研发工程师-上海/杭州/深圳/北京
在腾讯,后台开发工程师不仅是“又快又稳”的问题解决专家,更是生态共创者。你将与技术团队一同沉淀优质代码,让它成为我们共有的宝贵资产。在不同的业务场景和技术发展阶段,你的架构思维也将帮助更多协作团队拓展新的思考。我们也珍视你的挑战精神,同时欢迎你一起参与团队愿景、文化和产品方向的探讨。
1.超大规模LLM性能工程: 主导并规划千亿参数级大模型的极致性能优化技术路线。负责 vLLM/TensorRT-LLM 等主流推理框架的内核级优化与落地;
2.低比特与稀疏模型优化: 牵头 INT4/FP8/AWQ 等前沿低比特量化技术的工业级系统化落地,平衡精度与计算效率。并设计面向 MoE 模型的分布式调度、路由、显存管理及跨卡通信的优化方案;
3.统一与多模态架构: 定义并设计一套具备长期扩展性的统一 AI 推理引擎架构,以支撑自回归生成任务,并前瞻性地解决多模态大模型(如视觉-语言模型)的协同推理部署挑战;
4.异构算力与适配: 主导推理引擎在AI芯片(如昇腾、海光、天数等)平台上的战略级移植、生态适配与性能优化。对 HCCL/NCCL 等通信原语进行深度优化和定制,实现跨异构架构的算力自主可控;
5.核心算子优化与指令架构创新 (Enhanced Focus):深度介入 GPU/NPU 硬件底层,主导设计和实现LLM特有高性能算子;
6.负责海外机房建设进展跟综及GPU、网络等相关验收。
1.计算机、人工智能、软件工程等相关专业硕士及以上学历;
2.具备5年以上 AI 系统、高性能计算或底层系统开发经验;
3.具备大规模、生产级大语言模型(LLM)在线推理系统从零到一的架构设计与优化实战经验;
4.深入理解 Transformer 架构,具备 vLLM, TensorRT-LLM, LightLLM 等主流推理框架的内核级/源码级深度优化经验;对 KV Cache、低比特量化、连续批处理等核心技术有架构决策能力;
5.:熟悉 x86 服务器硬件体系与 GPU 服务器(HGX 系列 / A100、H800、L20 等)架构:拓扑、供电、PCIe / NVLink 互联、BMC / BIOS;
6.:熟悉数据中心网络:VLAN / BGP、Bonding、RDMA / RoCE 无损网络原理与调优,有专线开通或验收经验。