【基座大模型北斗实习】高性能计算与大模型系统优化

简介：参与面向大模型训练/推理的高性能计算与系统优化工作，可根据个人背景和研究兴趣选择以下方向之一深入推进：
1、面向GPU/NPU 等多硬件平台的算子开发与极致性能优化(CUDA/Cutlass/TileLang)。
2、跟踪前沿模型算法并完成高性能工程落地，深入框架层开展算子融合、内存/通信优化、流水编排等系统级性能调优。
3、探索基于大模型的高性能 Kernel 自动合成技术，参考 LLM-driven Kernel Generation 范式，研究高效 GPU/NPU Kernel 的端到端自动生成与迭代优化方法。
4、基于DSL（如 Triton、TVM TIR、Halide 等）的编译优化与自动调优技术研究。
5、多硬件后端（NVIDIA/国产芯片）的统一算子库建设与迁移适配。

1、GPU编程:写过CUDA kernel，理解warp/SM/显存层次结构；
2、训练框架:用过或改过Megatron/DeepSpeed/FSDP，不只是跑过demo；
3、通信系统:了解NCCL原理，或有网络协议栈/RDMA相关经验；
4、编译优化：接触过 XLA/TorchInductor/TVM 等编译器，或做过IR优化；
5、顶会论文：MLSys/OSDI/SOSP/ATC/ISCA 等系统顶会在手。