AI基礎設施工程師
Posted Updated 1
view
Description
一、設計並維運Kubernetes多環境(dev/ staging/ prod)多服務部署管線,確保部署流程可重現、可回滾、可審計。
二、建立並維運可觀測性堆疊:metrics/ logs/ traces/ alert四層體系;依服務分層設計儀表板、告警規則與值班路由。
三、推動GitOps/ Infrastructure-as-Code實踐:環境變更走PR-based,涵蓋K8s manifest、容器設定、平台組態與secrets管理流程。
四、主導事件處理:on-call輪班、事件分級、即時mitigation、事後RCA/ postmortem撰寫,把每次事件轉化為runbook與監控規則。
五、建立並維運平台SLO/ SLI體系:可用性、延遲、錯誤率、成本等核心指標的定義、量測與守線。
六、整合雲端與地端算力:設計混合雲架構,讓工作負載可在公有雲與地端伺服器/ GPU叢集間彈性調度。
七、維運GPU主機與AI推理服務:GPU健康監測、driver/ firmware/ CUDA升級相容性、容器化推理服務部署與灰度發佈。
八、參與AI工作負載的效能工程:標準benchmark、推論延遲與throughput調校、容量規劃;隨著經驗累積逐步深入量化、KV cache、batching等領域。
九、推動FinOps:雲端與GPU資源利用率、token與外部API成本追蹤、預算告警與治理。
十、平台安全基線:secrets管理、RBAC、稽核日誌、合規修補。
十一、與AI平台/ 服務/ 視覺工程團隊共同設計可維運(operability-first)的服務介面:metrics/ logs/ traces契約、健康端點、優雅降級。