边缘AIInfra工程师(存算与AI) - 芯片研发
Posted Updated
团队介绍:聚焦存算一体芯片设计,主要围绕AI大模型应用场景进行高能效计算技术创新,设计多款基于存算一体架构的高能效AI芯片,突破传统冯・诺依曼架构下的 "内存墙" 瓶颈,提升能效比、降低算力成本。团队具备独立流片与量产落地能力,累计申请专利近300项,核心专利覆盖“底层器件-核心架构-工程落地”全流程。同时与字节各团队算力需求整体协同,更好的发挥存算一体芯片的技术价值,共同为AI业务提供高能效算力底座。
1、研究大模型在CPU/GPU/NPU异构计算平台上的部署和优化;
2、负责端侧设备上部署大模型,并进行性能优化,提升推理效率,降低成本,提升用户的使用体验;
3、负责LLMs大模型训练框架优化及效率提升,提高算法迭代训练效率,降低成本。
1、计算机相关学科硕士学位及以上;
2、熟悉C++、Python等编程语言,5年以上C++开发经验,熟悉深度学习框架PyTorch、JAX;
3、熟悉AI编译器与AI工具链,如MLIR/Triton/XLA优先,扎实的深度学习基础,熟悉常见神经网络架构与算法,具备AI模型开发经验;
4、熟练掌握主流AI模型结构和应用,精通大模型优化技术,如量化、蒸馏、压缩、剪枝等;
5、具有丰富的NPU、GPU等边缘计算设备上大模型部署与优化经验,至少熟悉一种推理框架,如Llama.cpp、vLLM、SGLang等;
6、有很好的团队协作能力与沟通能力,对技术和代码品质有追求。