大模型推理优化工程师-抖音

2、负责图像/视频/3D/多模态等方向AIGC大模型推理加速研究，包括模型蒸馏、模型量化、模型剪枝、异构卡适配、推理加速框架移植等；
3、负责大模型训练过程中的GPU资源管理、异构卡适配、提升GPU利用率等，以及业务落地过程中大模型的工程服务开发部署；
4、探索前沿推理加速技术，持续提升模型推理效率。

1、本科学历及以上，人工智能、计算机视觉、计算机图形学、软件工程等相关专业，具有丰富推理优化实践经验者优先；
2、具有优秀的编程基础，熟练使用C++和Python编程语言以及PyTorch深度学习框架，熟悉GPU/NPU上的算子开发；
3、具有扎实的机器学习/深度学习基础，熟悉常见大模型架构和算子实现细节，特别是对Diffusion和LLM模型架构有深入理解；
4、熟悉大模型蒸馏、量化、剪枝等常用压缩技术，熟练使用常见推理加速工具，如TensorRT、vLLM等；
5、具有优秀的分析和解决问题的能力，对解决具有挑战性的问题充满激情，具备良好的沟通和团队合作能力。