AI平台工程師

本職位為 Agentory 平台核心基礎架構工程師，負責 Agent 編排引擎、多模型推理路由、企業整合協定（MCP）與平台治理。您將從零打造支撐集團級規模的 Agent 編排基礎設施，確保平台能穩定服務 30+ 併發 Agent、支援多事業群的多租戶隔離，並具備完善的可觀測性與成本管控。

【工作內容】
1.設計與實作 Agent Orchestration Layer，包含 Agent Registry（版本管理）、Model Router（異質路由）、Session Memory（持久上下文）
2.建構 Agent 生命週期管理：建立 → 測試 → 部署 → 監控 → 退役，支援 Graduated Autonomy 分級（Trainee / Probationary / Autonomous）
3.實作 No-Code Agent Builder 後端：讓非技術人員透過介面定義 System Instruction、
Knowledge Base、Tool 連接
4.建構 Multi-Model Inference Router，支援 GPT / Claude / Gemini / Tongyi Qwen，實作cost-aware 路由策略
5.整合 vLLM 推理伺服器（PagedAttention + batched serving），最大化 GPU 利用率
6.實作 MCP（Model Context Protocol）Server/Client，連接企業既有 ERP / OA / Legacy API
7.設計 Tool Call Worker 架構：非同步任務執行、重試機制、超時管控
8.設計多租戶隔離架構（Multi-tenant）與 RBAC 權限管控，支援跨事業群部署
9.實作 OpenTelemetry instrumentation：trace spans、LLM call logs、tool call logs、
token usage、cost tracking
10.建構 Grafana 可觀測性儀表板，涵蓋 Service Quality / System Health / Cost Efficiency 等指標

【必要條件】

• 3 年以上後端或平台工程經驗
• 精通 Python 或 TypeScript（至少一項為主力語言）
• 熟悉分散式系統設計：message queue（Redis / RabbitMQ）、非同步任務處理、服務間通訊
• 具備 LLM API 整合經驗（OpenAI / Claude / Gemini 至少一項）
• 熟悉 Container 技術（Docker），具備 Kubernetes 基礎概念
• 熟悉 API 設計：REST / WebSocket / gRPC
• 資料庫經驗：PostgreSQL + 向量資料庫（Qdrant / Pgvector / Pinecone 擇一）
• 具備基本 Prompt Engineering 能力
• 優秀的中英文書面及口語溝通能力