Skip to content
ClaudeChatGPTCursor

Search jobs inside your AI agent.

Connect

Calculet

端侧推理 AI 算法工程师

Posted Updated 1 view
Discussion

1. 负责 CV、LLM、多模态模型面向端侧设备的轻量化算法研发,实现端到端推理性能优化;
2. 研究低精度量化算法(INT8/INT4 / 混合精度量化),解决量化误差、精度退化问题,完成量化校准、损失补偿方案落地;
3. 协同 AI 编译器、推理框架团队,针对 CNN、Transformer 开展算子优化、图结构改造、KV Cache 优化,提升端侧推理吞吐量、降低时延与内存占用;
4. 对接 PyTorch/ONNX 模型,完成模型预处理适配、图变换改造,打通模型导出→编译→端侧部署全链路;
5. 搭建端侧模型评测体系,从精度、时延、功耗、内存多维度评估模型方案,输出标准化部署最佳实践;
6. 跟踪端侧大模型前沿算法,持续探索轻量化推理新技术,支撑边缘硬件上模型落地。

1. 硕士及以上学历,计算机、人工智能、电子信息等相关专业;
2. 扎实深度学习理论基础,精通 CNN、Transformer 网络结构,熟练使用 PyTorch;
3. 具备模型压缩、量化、轻量化算法实战经验,理解量化噪声、数值分布、误差传播机理;
4. 熟悉端侧推理基本流程,了解 NCNN/MNN/TensorRT/ONNX Runtime 任一推理框架;
5. 熟悉 ONNX 计算图,能够独立完成模型结构修改、算子替换、预处理融合;
6. 熟练 Python,具备良好实验设计、数据分析、问题定位能力。

加分项
1. 端侧大模型部署经验:KV Cache、滑动窗口、Speculative Decoding 等优化落地;
2. 熟悉 AI 编译器基础概念,能和编译团队协同开展软硬件联合优化;
3. 具备 NPU/DSP 异构硬件部署调优经验;
4. 有低精度量化等相关论文、开源项目落地经验;

Skills

Apply

See also