大模型框架专家（存算与AI） - 芯片研发

团队介绍：聚焦存算一体芯片设计，主要围绕AI大模型应用场景进行高能效计算技术创新，设计多款基于存算一体架构的高能效AI芯片，突破传统冯・诺依曼架构下的 "内存墙" 瓶颈，提升能效比、降低算力成本。团队具备独立流片与量产落地能力，累计申请专利近300项，核心专利覆盖“底层器件-核心架构-工程落地”全流程。同时与字节各团队算力需求整体协同，更好的发挥存算一体芯片的技术价值，共同为AI业务提供高能效算力底座。

1、围绕存算一体芯片架构，负责云侧大模型训练与推理框架的架构定制、模块开发和性能优化；
2、开发和优化分布式训练能力，包括数据并行、张量并行、流水线并行、上下文并行、混合精度、存储管理及通信计算重叠；
3、开发和优化大模型推理引擎，支持Paged Attention、Prefix Cache、Prefill-Decode分离、投机解码及长上下文推理；
4、优化MoE模型的训练与推理效率，解决专家并行、路由负载均衡、跨卡通信、显存占用和推理部署等问题；
5、从框架执行效率、分布式扩展性和资源利用率角度参与软硬件协同设计，为计算单元、存储层次、高速互联、集合通信、同步机制等系统方案提供软件侧需求与评估；
6、对接AI编译器、算子库和Runtime，定位计算、通信、I/O等瓶颈，协同算法、编译器、算子及硬件团队完成端到端精度校准和性能优化，建设精度、性能、压力测试及回归体系，推动训练和推理框架产品化及规模化部署。

1、计算机、算法、电子工程或相关专业本科及以上学历，具有3年以上C++/Python开发经验，以及AI框架、训练系统、推理引擎或异构计算相关经验，熟悉多线程、异步编程、内存管理和网络通信，具备大型软件系统设计能力；
2、熟悉PyTorch、JAX等深度学习框架，理解计算图、自动微分、自定义算子、设备后端和分布式执行机制，熟悉Transformer、Attention、MoE及大模型训练和生成流程，理解模型并行、Prefill、Decode和KV Cache；
3、在分布式训练、推理引擎、分布式推理或异构Runtime中至少一个方向具有深入经验，熟悉Megatron-LM、DeepSpeed、PyTorch FSDP、vLLM、SGLang、TensorRT-LLM等至少一种框架，具有多机多卡训练、高并发在线推理或GPU/NPU集群优化经验，具有FP8、INT8、INT4、AWQ、GPTQ等低精度训练或量化推理经验；
4、具有CUDA、ROCm或自研NPU开发经验，理解Stream、Event、设备内存、数据传输及异步Kernel Launch，熟悉NCCL/RCCL、RDMA等分布式通信机制，理解通信能力对训练与推理框架的影响；
5、具备计算、显存、通信、调度和I/O性能分析能力，能够推动框架、Runtime与硬件协同优化，参与过GPU/NPU、服务器或高速互联系统的软硬件协同设计，能够从典型模型负载出发评估硬件架构。