前瞻技術-AI應用工程師
Posted Updated 7
views
Description
【工作内容】
1.邊緣運算模型優化與瘦身 (Core Focus): 熟練運用量化 (Quantization, 如 INT8/INT4/AWQ/GPTQ)、剪枝 (Pruning)、知識蒸餾 (Knowledge Distillation) 與 KV Cache 記憶體管理等模型壓縮技術。
2.模型轉換與 NPU 部署: 執行 AI 運算資產從 GPU 到 NPU 的遷移作業。熟悉模型格式轉換(如 PyTorch 轉出至 ONNX / TFLite 等),並能對接底層 NPU Toolchain 進行效能 Profiling、算子 (Operator) 支援度分析與系統頻寬最佳化。
3.工程知識庫系統建構 (RAG): 以 RAG (Retrieval-Augmented Generation) 架構建構領域專屬知識庫,包含文件解析、向量化、Pipeline 設計與持續迭代優化,提升地端模型的應用價值。
4.LLM 整合與 Prompt 工程: 串接雲端 LLM API 及地端部署模型,設計針對工程場景的 System Prompt、Few-shot 範例與 Output Schema,確保 AI 回覆的專業精準度。
5.技術前瞻評估: 追蹤 Edge AI 技術趨勢(新開源模型、Agent 框架、多模態能力),評估導入終端產品的可行性與技術 ROI。