Skip to content
Search jobs inside your AI agent. Claude, ChatGPT, Claude Code, Codex, Gemini, Cursor and Grok
Connect

Canner (易開科技)

Sr. SDET 資深軟體測試開發工程師

Posted Updated 3 views

Description

在 Canner,我們正在打造突破性的 AI 與數據基礎架構解決方案,讓數據不再只是靜態資產,而是企業決策的核心動力。加入我們的研發團隊,你將參與開發和推動 。

Wren AI 是 Canner 的旗艦開源專案,讓大型語言模型 (LLM) 能夠直接查詢企業數據,為 AI Agent 提供精確的語意查詢能力。我們的開源專案已連續數週蟬聯 GitHub Top Trending,目前累積 15k+ 顆星,成為全球主流的 GenBI 解決方案,並被 fintech、e-commerce、enterprise SaaS 等領域的全球企業實際採用。這代表了全球開發者對這項技術的高度認可與需求。

這個角色,你會負責 Wren AI 的產品品質,包含 LLM 產生 SQL 的正確率量測、Wren AI Cloud 的端到端自動化測試,以及 20+ 資料源連線的驗證覆蓋。這裡的難點是 LLM 輸出不固定:同一個問題,模型這次的答案未必跟上次一樣,你要讓它仍然能被自動判定對錯。如果你熱衷於把品質變成可量測、可比較的工程問題,並想在一個全球開發者都在使用的開源專案上做這件事,這將會是一個難得的機會。

職責 (Responsibilities)

Agent Quality & Eval

  • 建立並維護 Wren AI 的 text-to-SQL accuracy eval harness:golden dataset、評分邏輯、結果追蹤
  • 設計 SQL 語意等價的比對策略:寫法不同但答案相同時,如何自動判定為正確
  • 建立 prompt / model / retrieval 換版時的 regression gate
  • 把 eval 訊號回饋給 AI service 團隊,指出 pipeline 中最常出錯的環節(schema retrieval、SQL 生成、query 修正等)

Test Automation

  • 用 Playwright 建立並維護 Wren AI Cloud 的 end-to-end 自動化測試
  • 為 wren-ai-service、wren-ui 建立 API / contract testing 與 integration test 層
  • 設計測試框架架構:fixture、測試資料管理、parallelization
  • 把測試工具與慣例文件化,讓工程師能自己補測試

Data Source Coverage

  • 建立涵蓋 20+ 資料源(BigQuery / Snowflake / Postgres / Trino / DuckDB / S3 / GCS 等)的 integration test matrix
  • 用容器或 fixture 的方式讓連線測試能在 CI 上穩定重跑
  • 驗證跨資料源的 SQL dialect 正確性、type mapping、authentication 路徑

CI/CD Quality Gates

  • 在 GitHub Actions 上設計 release gating,決定哪些檢查必須通過才能合併與發布
  • 維護測試本身的穩定性:flake 的偵測、隔離、分類與追蹤報表
  • 決定哪些測試進 PR gate、哪些進 nightly、哪些在 release 前跑
  • 讓外部 contributor 的 PR 也能拿到有意義的測試訊號

Requirements

必備條件 (Must-have)

  • 4 年以上 software testing / quality engineering 經驗,其中至少 2 年實際負責 test automation framework 的設計與維護(不只是寫 test case)
  • Python 或 TypeScript 熟練:能寫出 production-quality 的測試程式與內部工具
  • Test automation framework 實戰:熟悉 Playwright / Cypress / pytest / Jest 中至少兩項。理解 fixture 設計、測試資料隔離、parallelization、如何讓測試 deterministic
  • API / integration testing:REST 或 GraphQL 的測試設計經驗,用過 contract testing
  • SQL:能讀懂一段 query 在做什麼,並判斷兩段 SQL 是否語意等價
  • CI/CD:在 GitHub Actions / Jenkins 等環境設計過 pipeline 與 test gate,有實際處理 flaky test 的經驗
  • 測試非確定性系統的思維:面對輸出不固定的系統,能用統計、門檻值或分層斷言的方式,設計出仍然可靠的自動化驗證
  • 對品質有 ownership:能主動找出品質缺口並推動跨團隊解決
  • AI-assisted development:能熟練使用 coding agents(Claude Code / Cursor / Copilot 等)加速工作。理解它們的優劣,知道何時委派、何時要自己掌握細節,並嚴謹 review AI 產出的 code,而非照單全收
  • Git / OSS workflow:熟悉 PR-driven 協作,commit 與 PR description 寫得清楚
  • 能以英文閱讀與書寫技術內容

加分條件 (Bonus)

  • LLM eval 實作經驗:用過或建過 eval pipeline(Ragas / DeepEval / promptfoo / LangSmith / Braintrust / OpenAI Evals 等),理解 LLM-as-judge 的可靠性邊界
  • 熟悉 text-to-SQL / NL2SQL benchmark(Spider、BIRD、WikiSQL 等)
  • 開源專案的測試 / CI 貢獻經驗
  • Data warehouse / data platform 的測試經驗,尤其是多資料源環境
  • Docker / Kubernetes / GKE
  • OpenTelemetry 或其他 observability 工具經驗
  • 效能與負載測試(k6 / Locust / JMeter)
  • 熟悉 MCP (Model Context Protocol) 與更廣的 AI agent 生態
  • 多租戶 SaaS 的測試經驗

為什麼加入 (Why Join)

  • 一個還沒有標準答案的問題:怎麼系統性地測試 LLM agent 的正確率,業界還沒有公認的做法,eval 方法要你自己設計
  • 真正的 OSS impact:你的測試與 CI 會 ship 進一個 15k+ stars 的 Apache 2.0 專案,直接影響每個外部 contributor 的開發體驗
  • 完整的品質所有權:LLM eval、E2E 自動化、資料源覆蓋、release gate 都由同一個人負責
  • 有話語權的角色:測試架構怎麼設計、用什麼工具、什麼情況該擋下 release,這些由你決定
  • 直接協作:跟 WrenAI core team、product、AI researchers 直接共事,中間沒有任何 layer

Skills

What Senior QA jobs ask for — and how much of it you have →
Apply

See also

QA jobs by country — openings, pay and top skills →