点评技术-训推框架工程师
Summary
ML training/inference framework engineer on Meituan's Dianping tech team (Beijing/Shanghai): builds a unified framework for training and serving large-scale search/recommendation and generative models, optimizing distributed training, embedding access, GPU compute, communication, and memory using Python and C++.
1. 负责训推框架的架构设计与开发,支持搜推模型、生成式推荐及大语言模型的训练与在线推理,提升框架的性能、稳定性与易用性。
2. 优化分布式训练,解决数据读取、Embedding 访问、GPU 计算、通信及显存等关键瓶颈,在保证训练正确性与收敛效果的前提下,提升吞吐和资源效率。
3. 与算法团队开展模型与系统协同设计,优化算子实现、模型执行与并行策略,兼顾模型效果、训练成本和推理时延。
4. 建设性能分析、故障诊断与恢复能力,完善训推一致性验证,保障系统稳定运行。
5. 跟进 AI Infra 前沿技术,结合业务需求开展技术选型与工程验证,推动有效方案规模化落地。
1. 具备扎实的编程和系统基础,熟练使用 Python 与 C++,具备良好的代码设计、调试与性能分析能力。
2. 深入掌握至少一种主流深度学习框架,理解模型训练与推理的基本机制,对自动求导、计算图、算子执行、混合精度或分布式执行等有深入认识,能够结合实际任务分析框架行为。
3. 在训练框架、推理引擎、算子或框架底层优化中至少一个方向有深入实践,能够定位复杂性能问题,并验证优化收益与结果正确性。
4. 具备技术方案设计与项目推进能力,能够独立负责关键模块,理解算法和业务需求,与相关团队协作推动落地,对结果负责。
1. 直接服务算法迭代与真实业务。 与算法团队共同推进模型演进,用算法迭代效率、训练成本和在线性能检验技术价值。
2. 深入搜推与大模型的底层系统。 面向大规模稀疏模型、生成式推荐与大语言模型,探索不同场景下的框架设计、分布式计算和 GPU 性能优化,推动共通技术的积累与复用。
3. 承担核心模块与技术方向。 参与架构设计和技术路线选择,推动方案从实验验证走向规模化应用,积累技术深度与完整系统视角。