【數位技術】Agentic AI 品質與評測工程師-高雄辦公室-R08

友達高雄軟體發展中心誠摯邀請您加入，一起成為下一代 AI 技術的關鍵推手！
我們正在尋找一位 Agentic AI 平台工程師，與友達最頂尖的 AI 團隊攜手打造企業級 Agentic AI 平台，將最新的 AI 技術真正落地。
若您也希望可以待在高雄發展，友達將是您的最佳選擇，歡迎應徵與我們進一步聯繫！

【工作內容】
1. 非確定性系統的測試策略設計 建立 Agentic 系統的自動化測試、整合測試與回歸測試機制。針對 LLM 輸出的不確定性設計可重複、可比較的驗證方法，在規模成長前主動找出系統邊界。
2. 評測指標與測試集工程 設計 LLM 回答與 Agent 行為的品質指標，包括 faithfulness、consistency、retrieval quality、task success rate、工具調用正確率等。建立自動化測試集的產生、維護與版本控管流程。
3. 平台評估功能開發 將上述能力產品化為平台功能，讓使用者能在平台上評估自己建立的 Agent：測試集管理、批次回放、版本間 regression 比對、指標視覺化。這是實際的產品開發工作，不是內部工具。
4. 線上行為監控與迭代機制 建立模型與 Agent 的線上行為監控，將真實使用情境中的失敗案例回饋為測試資產。
5. 評測標準的建立 隨著 Agentic AI 在公司內擴散，協助定義「一個 Agent 是否可上線」的共通判準。

【工作條件】
1. 三年以上軟體工程經驗，具備 Python 開發能力，能獨立完成中型系統模組。
2. 具備自動化測試框架的實作經驗，理解測試分層（unit / integration / e2e）與 CI 整合。
3. 具備 LLM 應用或 Agentic 系統的實作經驗，理解其失敗模式與傳統系統的差異。
4. 具備資料處理與指標設計能力，能將模糊的「品質」定義為可量測的數字。
5. 對「什麼叫做正確」有自己的判斷，並能與開發者就此進行有依據的辯論。
具備以下經驗尤佳：
1. 具備 LLM 評測相關工具或框架的使用／建置經驗。
2. 具備統計或實驗設計背景，熟悉 A/B testing、抽樣設計或顯著性判斷。
3. 具備前端開發能力（Vue / React），能獨立完成評估功能的介面。
4. 具備可觀測性工具（tracing、logging、monitoring）的建置經驗。