千寻智能
Open positions
4 jobs
2 views 7 months ago
大模型云端推理架构与部署工程师
APAC
China
1、负责多模态大模型(VLM)在云端的高性能分布式推理系统设计、开发与全链路端到端部署。 2、负责将前沿的推理加速机制(如PD分离、全局KV池化、长文本上下文处理等)快速工程化,构建高可用、高吞吐的推理服务。 3、跟进解决大规模服务调用中遇到的性能瓶颈与长尾问题,持续优化集群吞吐量(Throughput)、首字延迟(TTFT)与推理显存占用。 1、计算机、软件工程、人工智能等相关专业;具备分布式系统架构、后端开发或AI基建(AI…
AI C++ CUDA GPU Kubernetes +6 skills
2 views 10 months ago
具身大模型推理&部署工程师
APAC
China
1、负责具身智能VLA模型在端侧的推理系统的研发和模型加速算法研究。 2、设计并实现高性能自定义融合算子及算子性能调优,接入静态图模式等,榨干硬件理论性能。 3、深度参与模型的推理加速算法研究,如量化、蒸馏、稀疏、剪枝、模型小型化等。 1、熟悉GPU体系结构,熟练掌握CUDA/triton,熟练掌握C++和Python语言,熟悉主流深度学习框架(PyTorch/ONNX/TensorRT等),具备深度学习底层优化经验。…
CUDA ONNX PyTorch Triton
