AI异构计算优化实习生-Data AML
ByteIntern:面向2027届毕业生(2026年9月-2027年8月期间毕业),为符合岗位要求的同学提供转正机会。
团队介绍:Data AML是字节跳动的机器学习中台,为抖音/今日头条/西瓜视频等业务提供推荐/广告/CV/语音/NLP的训练和推理系统。为公司内业务部门提供强大的机器学习算力,并在这些业务的问题上研究一些具有通用性和创新性的算法。同时,也通过火山引擎将一些机器学习/推荐系统的核心能力提供给外部企业客户。
1、负责评估符合业务要求的异构计算芯片,建立并完善评估体系与负载模型,预估业务收益;
2、负责异构计算芯片在实际推理业务中的落地,适配芯片特性以降低推理时延、提高推理吞吐;
3、负责异构计算芯片在实际训练业务中的落地,结合芯片计算与通信特性优化显存占用、提升训练吞吐;
4、负责开发异构计算芯片的高性能算子,依据芯片特性优化算力与带宽利用率;
5、负责通过编译技术推动异构计算芯片在不同业务场景的落地,探索更高效的异构硬件编程范式;
6、负责调研并验证前沿软硬件结合方向,如稀疏计算(Sparse Computation)、存内计算(In-Memory Computing)、数据流计算(DataFlow)等。
1、2027届本科及以上学历在读;
2、熟练掌握Linux环境下的C/C++、Python语言;
3、具备扎实的计算机科学功底和编程能力,熟悉常见算法和数据结构,具有良好的编程习惯;
4、能够熟练使用至少一种主流的机器学习框架(TensorFlow/PyTorch等),熟悉框架内部实现;
5、熟悉至少一种经典深度学习模型及其应用场景,如GPT、SD、DiT、W&D等;
6、有良好的工作文档习惯,及时按要求撰写更新工作流程及技术文档。
加分项
1、了解昇腾、寒武纪等推理/训练/通信相关优化,有高性能算子、大规模训练、通算融合领域经验者优先;
2、了解SIMD/SIMT外其他并行计算模型及算法,了解其并行编程模型及其优、缺点者优先;
3、了解模型剪枝、量化、LLM投机采样等优化方法原理,具备相关模型优化经验者优先;
4、了解常见AI编译器方案及其优、缺点(如XLA、TVM、MLIR),有实际开发经验者优先;
5、了解GPU硬件架构,了解GPU软件栈(CUDA、cuBLAS、CUTLASS),具备GPU性能分析的能力者优先;
6、了解AI Compiler技术栈(MLIR等),熟悉Torch2.0+编译栈、Triton者优先。