[MDL-RE-ALN] 模型對齊研究工程師 Research Engineer(Model Alignment)

【關於這個職位】
模型好不好，不能靠感覺，要靠評測說話。你的核心任務是建立並執行模型與 RAG 系統的評測，並更進一步——設計能衡量、探索與改善模型行為的方法，把模型「對齊」到我們想要的能力與行為上。專案一開始，交付標準（評測集）就是整個團隊的 definition of done；訓練過程中，你的評測結果告訴大家「離目標還有多遠」；驗收時，你的評測就是通過與否的依據。訓練與評測息息相關。你會與負責模型訓練的研究工程師、資料工程師密切合作，實際參與模型訓練與對齊壓力測試，兩個角色互相支援；也會配合 PjM，把評測結果講成客戶聽得懂的話。

【工作內容】
●依專案需求建立評測集：定義評測項目、蒐集與設計測試題目、訂定通過標準
●依公司發展方向，設計具挑戰性的評測、能力與行為項目，並找到衡量模型的方法
●執行模型評測：微調後的模型效果如何、跟基準模型比起來進步多少
●執行 RAG 評測：檢索找得準不準、回答對不對、引用來源正不正確、有沒有幻覺開發能自動探索與評測模型行為的方法
●建立自動化評測流程與工具，讓每次訓練後都能快速看到結果
●設計可擴展的系統與流程，以支援持續性的評測
●建立自我改進循環，實現「模型理解」自動化的架構
●深入掌握測量科學——理解評估方法的可擴展性、可靠性與變異數
●與團隊一起參與模型訓練，執行模型評測與對齊壓力測試
●分析評測結果，找出模型或系統的弱點，回饋給訓練與資料端改進
●產出評測報告，讓團隊和客戶都能看懂「現在的效果到哪裡、還差什麼」
●把評測方法整理成 SOP，讓每個專案都能照同一套走