大模型推理服务工程师

岗位职责:
1 基座模型商业化业务的平台开发：参与商业化统一入口的设计与研发，实现用户身份识别与优先级管理、流量染色、请求路由，以及限流降级等稳定性保障机制；
2 多协议适配与统一流量收口：参与流量收口层的研发，屏蔽内外部协议差异，统一收口全量业务流量，实现超参校验、协议转换等公共能力，支撑多业务线接入；
3 推理请求的智能路由与调度：基于流量标识实现会话亲和路由与多维度负载均衡，提升商业化请求的服务稳定性与缓存命中率；
4 分布式推理系统和推理引擎：参与大规模分布式推理集群的任务调度系统研发，比如 dynamo、HiCache，优化多机多卡推理引擎的吞吐和时延性能；
5 流量与资源管理：设计并实现大规模推理服务的流量管控、弹性扩缩容与资源调度机制，保障系统在高并发场景下的吞吐与稳定性；
6 平台工程化建设：参与 C 端 / B 端平台基础设施建设，涵盖服务治理、可观测性体系、容灾降级等工程能力的设计与落地；
7 与算法团队紧密配合，推动LLM、RAG等技术与工程系统的深度集成，持续迭代项目能力，提高服务质量。

岗位要求:
1.具备5年以上Java/Python开发经验，精通分布式系统开发与性能优化；
2.有AI应用框架或平台研发经验，熟悉大语言模型应用开发流程，了解LangChain、Auto GPT等主流框架，掌握Prompt工程、RAG及大模型工具集成与调用；
3.拥有大模型应用开发或相关人工智能项目经验，优先有对话系统、搜索推荐系统、大规模机器学习系统等领域经验者；
4.对新技术充满好奇心和敏锐度，具备出色的复杂问题分析与解决能力，拥有良好的沟通能力和团队协作精神，能够高效推动跨团队合作。

岗位亮点:
1.你将加入优秀的团队，一起成长：团队高阶研发密度大，汇聚行业大牛，分享交流活动多；
2.你将负责前沿技术的探究：和迅速发展的大模型行业一起成长，未来拥有广阔的应用前景；
3.你将拥有快速成长的空间，一起见证技术落地的喜悦，部门业务处于快速发展阶段，应用场景广泛，业务落地场景丰富，复杂度高，挑战性大；
4.你将拥有更广阔的视野：有行业影响力的培训和学习交流机会、参加国际优质学术会议等。
具备以下优先:
1.有技术钻研精神，熟悉主流大模型架构（如Transformer，Bert等），理解其底层原理（自注意力机制、位置编码、训练和推理优化等）者优先；
2.有较强的逻辑思维能力，善于分析、归纳、描述、沟通、和解决问题。