AI 推論應用工程師

【工作內容】
建構與維護企業級 LLM 推論平台，基於 KServe 與 vLLM 管理模型的打包、部署、版本控管與推論生命週期。
設計並實作部署範本與 Runtime 組態，支援不同模型規模、量化格式（FP8 / INT8 / AWQ）與硬體配置的最佳化預設值。
實作分散式推論架構：支援跨節點的 Tensor / Pipeline Parallelism，以及 Prefill / Decode 分離（P/D Disaggregation）部署。
實作推論流量路由，包含 KV Cache 感知排程、模型路由、Token 用量計費與速率限制。
進行推論效能調校與基準測試，針對 TTFT、TPOT、吞吐量與 GPU 使用率建立 Benchmark 流程與效能回歸報告。
規劃 GPU 資源管理：NVIDIA GPU Operator、MIG 切分、HAMi GPU 共享、Node Feature Discovery 與排程策略（Gang Scheduling、Topology Aware）。
實作推論服務的自動擴縮容機制，依據佇列長度、並發數或自訂指標進行水平擴展與縮容至零。
建立 AI 工作負載的可觀測性：vLLM 指標、GPU 監控（DCGM）、推論延遲追蹤與 Grafana 儀表板。
與 Go 平台團隊協作，將模型服務能力抽象為 CRD 與 API，並與前端團隊共同設計模型管理與部署介面。
追蹤推論優化技術趨勢（PagedAttention、Speculative Decoding、Prefix Caching、動態批次），評估導入可行性。