【金融科技】AI 模型評測主管(AI Evaluation Lead / Manager)(經驗行員)

【職位介紹】
我們正在尋找一位具有遠見的技術主管來領導全新的 AI 品質評測團隊。您將擔任我們 AI 產品上線前的「守門員 (Gatekeeper)」，全權負責定義 AI 模型（特別是 LLM 與 RAG 系統）的品質標準與發布流程。您將帶領團隊建立自動化評測體系，平衡模型效能、安全性與合規性，直接影響產品能否交付給最終客戶。

【主要職責】
1.評測策略與框架設計 (Strategy & Framework):
．從零打造企業級的 AI 評測架構，定義適用於 LLM/RAG 及傳統 ML 系統的評估標準（Evaluation Metrics），涵蓋準確率 (Accuracy)、相關性 (Relevance)、真實性 (Faithfulness) 及一致性 (Consistency)。
．結合 Responsible AI 原則，制定模型在公平性、偏見 (Bias) 及可解釋性上的驗收標準。
．主導評測自動化策略，推動評測流程與 MLOps/DevOps (CI/CD) 的深度整合。
2.基準測試體系與數據治理 (Benchmarking & Data Governance):
．規劃並管理「黃金測試集 (Golden Datasets)」的生命週期，確保數據集覆蓋業務關鍵路徑、邊緣案例 (Edge Cases) 及對抗性樣本。
．追蹤學術界與業界最新的評測工具（如 RAGAS, DeepEval, Arize Phoenix 等）與基準（Benchmarks），並決策引入適當工具至內部流程。
3.安全性與紅隊演練領導 (Security & Red Teaming):
．建立 AI 安全防護機制，領導團隊執行定期的 AI 紅隊演練 (Red Teaming)。
．制定針對 Prompt Injection、Jailbreaking 及 PII 洩露的防禦策略與壓力測試標準。
4.跨部門協作與持續優化 (Collaboration & Optimization):
．與算法科學家、產品經理及後端工程師緊密合作，建立「錯誤分析回饋迴圈 (Feedback Loop)」。
．針對生產環境的 Bad Cases 進行根因分析 (RCA)，指導團隊提出具體的 Fine-tuning 或 Prompt Engineering 優化建議。
．負責團隊建設、人才培養及評測流程的標準化文檔管理。

104僅供職缺參考，若您對此職缺有興趣，請至本行「玉山菁英甄選網站」投遞履歷，如書審通過，後續將邀請您參加面談。謝謝！
【網址：https://esnhr.pse.is/394b2n】