基礎設施工程師

負責建置與維護 AI 服務的底層基礎設施，使用者是內部工程師。工作涵蓋兩個層面：軟體服務層（LLM gateway、模型路由、治理、成本歸屬）與硬體算力層（GPU 資源池、Kubernetes 叢集、推論服務部署、算力機房）。可依個人專長側重其中一面，兩面都會參與。
網銀集團正從零建立算力中心，多項架構決策需在硬體到位前定案，本崗是把底層地基打對的關鍵。這份工作是專案型的：設計、建置、交付，並確保交付的系統可被維運。

【工作範疇】
● 建置與維護 LLM gateway：多家模型供應商的統一介面、模型路由、失敗切換、快取。
● 建置 GPU 資源池與推論服務：用 vLLM 這類框架部署模型，讓算力集中調度而非各自使用。
● 規劃與建置 Kubernetes 叢集及相關調度、資源配額。
● 建立成本歸屬與使用量的數據蒐集，讓 AI 使用成本可依團隊或功能拆分。
● 落實治理需求：權限控管、使用稽核、資料遮罩等，實作在服務的必經路徑上。
● 交付時附帶監控、文件與故障復原步驟，確保系統可交接給維運。

【必要條件】
● 後端或基礎設施開發能力：會設計 API、會容器化、會 CI/CD，且建置過供他人使用的服務。
● Kubernetes 或同級調度工具的正式環境經驗。
● 具備下列任一方向的實戰經驗：部署推論服務框架（vLLM、Triton、TensorRT-LLM、Ray Serve 任一），或部署與維運 LLM gateway（LiteLLM、Portkey 或自建）。

【加分條件】
● GPU 效能調校（批次處理、KV cache、模型量化、提高使用率）。
● 建過監控系統（如 Prometheus、Grafana）。
● 做過雲端成本管理（FinOps）或成本歸屬。
● 機房建置、大量硬體驗證、或與硬體供應商協作的經驗。

Key Responsibilities
● Build and maintain the LLM gateway: a unified interface across multiple model providers, model routing, failover, and caching.
● Build the GPU resource pool and inference services: deploy models with frameworks like vLLM so compute is scheduled centrally rather than used ad hoc.
● Plan and build Kubernetes clusters, along with scheduling and resource quotas.
● Build cost-attribution and usage data collection so AI costs can be split by team or feature.
● Implement governance requirements — access control, usage auditing, data masking — on the mandatory path of the service.
● Deliver with monitoring, documentation, and runbooks so the system can be handed over to operations.

Requirements
● Backend or infrastructure development ability: can design APIs, containerize, and run CI/CD, and have built services used by others.
● Production experience with Kubernetes or an equivalent orchestration tool.
● Hands-on experience with at least one of: deploying inference-serving frameworks (any of vLLM, Triton, TensorRT-LLM, Ray Serve), or deploying and operating an LLM gateway (LiteLLM, Portkey, or self-built).

Preferred Qualifications
● GPU performance tuning (batching, KV cache, model quantization, utilization improvements).
● Have built monitoring systems (e.g., Prometheus, Grafana).
● Cloud cost management (FinOps) or cost attribution.
● Data-center build-out, large-scale hardware validation, or working with hardware vendors.