【金融科技】資深 AI 模型評測工程師 (Senior AI Evaluation Engineer)(經驗行員)

【職位介紹】
作為評測團隊的核心技術骨幹，您將負責「打造尺規」的工作。您需要運用深厚的程式開發能力，構建自動化評測工具與腳本，對我們的 LLM 與 RAG 系統進行全方位的「體檢」。您將是發現模型幻覺、安全漏洞與效能瓶頸的第一線專家。

【主要職責】
1.自動化評測開發與實作 (Automation & Implementation):
．開發高效能的 Python 自動化評測腳本，針對 LLM/RAG 系統進行多維度打分（Accuracy, Relevance, Faithfulness, Consistency）。
．將評測工具整合至 Jenkins/GitLab CI 等 CI/CD 流程中，實現模型版本的自動回歸測試 (Regression Testing)，確保「新版本不比舊版本差」。
．實作 Responsible AI 的具體檢測邏輯，量化模型的偏見與公平性指標。
2.測試集建構與維護 (Dataset Management):
．與業務團隊合作，收集真實場景數據，清洗並標註高品質的「黃金測試集 (Golden Datasets)」。
．設計並生成合成數據 (Synthetic Data) 以覆蓋邊緣案例 (Edge Cases) 與極端場景。
3.執行紅隊演練與安全測試 (Security Testing):
．設計並執行自動化攻擊腳本，模擬「提示詞注入」(Prompt Injection)、「越獄」(Jailbreaking) 等攻擊手段，驗證護欄 (Guardrails) 有效性。
．對模型輸出進行敏感詞過濾與 PII (個人身份資訊) 洩露的壓力測試與掃描。
4.錯誤分析與報告 (Error Analysis):
．深入分析測試失敗案例 (Bad Cases)，歸納錯誤模式 (Error Patterns)，撰寫詳細的技術評測報告。
．協助算法工程師定位問題根源（是 Retrieval 錯誤還是 Generation 錯誤），並驗證修復後的有效性。

104僅供職缺參考，若您對此職缺有興趣，請至本行「玉山菁英甄選網站」投遞履歷，如書審通過，後續將邀請您參加面談。謝謝！
【網址：https://esnhr.pse.is/394b2n】