【116年研發替代役】AI Systems Engineer

我們正在尋找對 AI 系統架構 與 下一代記憶體加速技術 充滿熱情的 AI 系統工程師！
在這份工作中，你將站在 AI 算力架構的最前線，負責將大語言模型（LLM）與 Agentic AI 推理（Inference）系統，深度整合至公司自研的 CXL Memory Device（CXL記憶體裝置） 系統中。你將透過軟硬體協同設計（HW/SW Co-design），突破當前 GPU 記憶體牆（Memory Wall）的瓶頸，重新定義大規模 AI 推理的效能上限與成本結構。

1.AI 推理系統與 CXL 架構整合：將主流 AI 推理框架（如 vLLM, TensorRT-LLM, SGLang
等）與 CXL 記憶體層級（Memory Tiering）進行深度整合與效能調優。
2.KV Cache 管理與策略優化：設計與實作基於 CXL / PCIe 介面的高效能 KV Cache
Offloading/Tiering 機制，擴大 Context Window 並提升 Long-Context 推理吞吐量。
3.系統效能分析與瓶頸突破：使用 Profiling 工具深入分析 CXL 頻寬、延遲（Latency）、
PCIe 通道負載以及 GPU-Host 間的 Data Path，持續尋找並解決 Bottleneck。
4.高效能 I/O 與記憶體堆疊開發：結合高效能記憶體管理與 User-space 技術（如 SPDK、
Zero-copy 傳輸機制），極致化數據讀寫與搬移效率。
5.PoC 展示與技術驗證：建立端到端的 Performance Benchmark 流程與 Monitoring
Dashboard（如 Grafana/Prometheus），展示 CXL Memory 在 AI Inference 場景下的
卓越效能。