AI 基礎架構與軟硬體協同設計工程師(AI Infrastructure & Hardware-Software Co-Design Engineer)

GPU Infrastructure · LLM Serving · Infrastructure Simulation · Hardware-Software Co-Design · Next-Gen AI Systems

如果你想做的不只是部署 AI 模型，而是透過 workload modeling、infrastructure simulation 與實測驗證，參與定義下一代 AI server、accelerator 與 chip architecture，這會是一個很適合你的角色。

工作內容：
1. 建置與維護 GPU server、Linux、network、storage、Kubernetes 與 LLM inference serving 環境，支援 AI workload 從實驗驗證到 production deployment。
2. 從AI workload、LLM serving behavior、GPU / memory / network / storage / power / cost model 出發，分析現有 AI infrastructure 的系統瓶頸，並提出下一代 AI server、GPU cluster、accelerator 與 chip architecture 的設計建議。
3. 開發AI infrastructure simulator / capacity planner，用於評估不同 GPU SKU、server topology、network、storage、parallelism、cache/offload policy 與 deployment strategy 對效能、成本與 SLO 的影響。
4. 建立LLM serving workload model，分析 ITL / OTL ratio、TTFT、TPOT、batching、concurrency、KV cache、prefill / decode split、GPU memory、tokens/sec、queueing 與 scheduling behavior。
5. 研究與驗證 AGG / DISAGG serving architecture、prefill / decode 分離、KV cache、local/cache/offload policy、GPU parallelism 與 multi-node topology 的適用場景與 break-even boundary。
6. 建立 GPU cluster cost / performance / capacity model，包含 GPU server、rack、switch、optics、storage、power、cooling、cache server、annual TCO、cost per token、cost per goodput 與 budget feasibility。
7. 透過benchmark、scenario sweep、sensitivity analysis 與 production telemetry 校準 simulator，建立可驗證、可追溯的 infrastructure decision workflow。
8. 將workload analysis、simulation result 與 deployment data 回饋到下一代 hardware / server / accelerator / chip architecture 的規格討論，推動 software-defined hardware architecture。
9. 部署與優化 vLLM、TensorRT-LLM、SGLang、Triton Inference Server、Ollama 等 LLM inference serving framework，並針對 latency、throughput、GPU utilization、KV cache、parallelism 與 cost efficiency 進行調校。
10. 建立 AI infrastructure monitoring 與 observability，追蹤 GPU utilization、memory、power、network bandwidth、queue time、TTFT、TPOT、tokens/sec、error rate 與 cost metrics。
11. 與 AI 研究、軟體工程、硬體設計、系統架構、IT / Infra 團隊合作，將 AI workload insight 轉化為實際 infrastructure design、deployment policy 與 hardware roadmap input。