Skip to content
Search jobs inside your AI agent. Claude, ChatGPT, Claude Code, Codex, Gemini, Cursor and Grok
Connect

Cake Recruitment Consulting

【FinTech|LLM 評測與安全核心】Senior AI Evaluation Engineer – TL

Posted Updated 18 views

Description

公司介紹

我們是一家深耕金融科技與資料智能應用的技術團隊,正積極將 大型語言模型導入高風險、高標準的實際業務場景。不同於單純模型實驗,這裡更關注 AI 是否「可靠、可驗證、可長期運作」。
團隊由資深工程與資料背景成員組成,文化務實、重視工程品質,並持續投入 AI Safety、模型評測與自動化流程,打造能被真正信任的生成式 AI 系統。

工作內容

  • 設計並開發 LLM / RAG 系統的自動化評測工具與流程

  • 建立模型多維度評分機制(Accuracy、Relevance、Faithfulness、Consistency)

  • 將評測流程整合至 CI/CD(Jenkins / GitLab CI),確保模型版本品質穩定

  • 與業務及資料團隊合作,建立高品質 Golden Dataset 與 Synthetic Data

  • 執行 Prompt Injection、Jailbreak 等 LLM 安全與紅隊測試

  • 分析失敗案例,協助定位 Retrieval 或 Generation 問題,驗證修復成效

使用的技術

  • Python、Pytest / unittest

  • LLM / RAG Framework:LangChain、LlamaIndex、Semantic Kernel

  • 資料分析:Pandas、NumPy、Visualization Tools

  • 評測框架:RAGAS、TruLens、DeepEval、Promptfoo(加分)

  • CI/CD、Git

  • Docker / Kubernetes(加分)


Requirements

需求條件

  • 計算機科學或相關科系學士以上
  • 3 年以上 Python 開發經驗,熟悉測試與自動化流程
  • 熟悉 NLP 與 LLM 應用實務
  • 具備將技術結果轉化為結論與報告的能力
  • 加分:FinTech 經驗、OWASP LLM Security、Kaggle / Open Source 貢獻


Skills

What Senior AI Engineering jobs ask for — and how much of it you have →
Apply

See also

AI Engineering jobs by country — openings, pay and top skills →