AIBCRDD- 邊緣 LLM RAG 應用工程師

[職位概述]

您將負責為 AIBOX 注入「大腦」的智慧。我們正將大語言模型 (LLM) 與檢索增強生成 (RAG) 移植到本地邊緣端，實現低延遲、無網可用的本地 AI 助理。您將主導本地模型評估、RAG 知識庫建構與 Prompt 的調優整合。

[主要職責]

本地輕量化 LLM 部署與評估：
評估與優化適用於邊緣硬體（SoC/NPU）的輕量化大語言模型（如 Llama 3.3, Phi-4, Gemma4 等）。
針對邊緣端推論效能，與後端及 BSP 團隊合作優化 Token 推理速度（Prefill/Decode latency）。

RAG 知識庫架構設計：
負責本地知識庫的資料清洗、Chunking 策略制定與 Embedding 向量化。
建置與管理本地向量資料庫（Vector Database），實現精準的語意檢索。

Prompt 工程與對話流設計：
針對 AI 語音/文字助理進行 Prompt 設計與迭代調優，確保輸出格式穩定（如 JSON/Structured Output）。
設計防幻覺機制，讓 AI 助理能精確依據本地文檔回答。

MCP 協定與 Tool-use 整合：
整合MCP、Skill或 Function Calling，使 LLM 能自主呼叫 AIBOX 本地 API，控制硬體設備或查詢視覺偵測數據。