DevOps Engineer

工作內容 (Job Description)

• 雲端基礎設施管理 (AWS & AliCloud)： 負責跨雲平台的維護與架構優化，包含 AWS EC2/EKS 與 阿里雲 ECS/ACK 的資源調配與高可用性設計。
• LLM 私有化部署與推論優化： 負責將開源大語言模型（如 Llama、DeepSeek、Qwen）部署至 GPU 實例或 K8s 叢集，運用 vLLM**、**Ollama 或 TGI 等推論引擎優化 High-Throughput / Low-Latency。
• GPU 資源排程與成本控管 (FinOps)： 針對 GPU 資源（如 NVIDIA A10G/A100/H100、Spot / Reserved Instances）進行排程管理與動態擴展（Auto Scaling），極大化 VRAM 與算力利用率並節省成本。
• LLM API 網關與權限控管： 建立及維護 LLM Gateway（如 LiteLLM、Nginx Proxy），實施 API Key 授權管理、Rate Limit (限流)、Token 計費與日誌追蹤。
• CI/CD 與 IaC 自動化： 使用 Terraform/Ansible 及 CI/CD Pipeline（GitLab CI / GitHub Actions）自動化部署雲端架構、模型權重下載與模型服務更新。
• 跨雲網絡與 DevSecOps： 規劃 AWS 與阿里雲之間的 VPC / VPN 專線串接，將模型服務鎖在私有網絡內（Private Subnet），確保模型數據與用戶對話資安合規。
• 監控與告警 (Observability)： 監控 GPU 溫濕度/使用率、VRAM 顯存佔用率、LLM 首字延遲 (TTFT)、吞吐量 (TPS) 及系統日誌，建立即時排障機制。

擅長工具 (Tech Stack & Tools)

• 雲端平台 (Cloud Systems)： AWS (EC2 GPU 實例如 g5/p4, EKS, VPC, S3, CloudWatch)、**Alibaba Cloud** (ECS GPU 實例, ACK, VPC, OSS)
• LLM 部署與推論框架 (LLM Engines)： vLLM, Ollama, TGI (Text Generation Inference), LiteLLM (Gateway/Proxy)
• 容器與編排 (Containers & K8s)： Docker, NVIDIA Container Toolkit (nvidia-docker), Kubernetes (EKS / ACK), Helm
• 基礎設施即程式碼 (IaC)： Terraform, Ansible
• CI/CD 工具： GitLab CI, GitHub Actions, Jenkins
• 監控與日誌 (Monitoring)： Prometheus, Grafana, DCGM (NVIDIA Data Center GPU Manager), ELK Stack
• 程式與腳本語言 (Scripting)： Python (PyTorch/CUDA 環境配置經驗), Bash

【必備條件】

• 2 年以上 DevOps / SRE 或 Linux 系統維運經驗。
• 熟悉 NVIDIA GPU 驅動程式、CUDA、cuDNN 在 Linux 環境中的安裝、維護與 Docker 容器化掛載。
• 具備在 AWS EC2 或 阿里雲 ECS 上成功部署與運作 LLM（如 vLLM / Ollama）的實務經驗。
• 熟悉 TCP/IP 網絡、VPC Peering、Load Balancer 與 API Gateway 安全防護機制。
• 具備良好的 Python/Bash 自動化開發能力。

【加分條件】

• 熟悉量化技術（AWQ, GPTQ, GGUF）概念，能協助 AI Team 優化模型加載與 VRAM 顯存佔用。
• 持有 AWS Certified Solutions Architect / SysOps 或 Alibaba Cloud ACP 認證。
• 具備多雲備援（AWS + AliCloud）或跨國專線網絡部署經驗。
• 具備 Vector DB（如 Milvus, Qdrant, Pinecone）或 RAG 架構之維運經驗。

學歷要求 (Education Requirement)

• 學歷： 大專院校或大學（含）以上畢業。
• 科系： 資訊工程、資訊管理、電機工程、數據科學相關科系佳（若具備實務 LLM 部署與維運經驗，不限科系）。