D4000 Senior Data Engineer (GCP / MLOps / High Scale Systems)

【關於我們】
我們正在尋找一位對 GCP 雲端架構、高併發系統 與 MLOps 充滿熱情的資深工程師。在這個角色中，你不會只是單純地搬運數據。你將是連接 AI 模型與高流量產品的核心架構師。你需要運用 GKE 與 Managed Instance Groups (MIG) 解決具挑戰性的突發流量 (Burst Traffic) 問題，並為資料科學團隊打造自動化、可擴展的 AI/ML 基礎設施。如果你喜歡挑戰百萬級流量的系統設計，並熱衷於探索 GenAI 與 Big Data 的技術邊界，這會是你大展身手的舞台。

【核心職責 Key Responsibilities】
1. 高可用雲端架構與彈性擴展 (Cloud Architecture & Scalability)
● GCP 核心架構設計：基於 GKE 與 Managed Instance Groups (MIG) 建置高可用架構，專注於處理瞬時突波流量 (Traffic Spikes) 的 Auto-scaling 策略。
● 系統韌性工程：設計包含 Load Balancer、Circuit Breaker、Rate Limiting 與 Failover 的強韌系統，確保服務在高負載下仍保持低延遲。
● 可觀測性 (Observability)：建立完整的監控體系 (Prometheus, Grafana, Cloud Monitoring)，針對流量成本與效能進行平衡優化。

2. MLOps 平台工程 (MLOps & AI Infrastructure)
● End-to-End ML Pipeline：利用 Vertex AI / Kubeflow / Cloud Build 打造從訓練、驗證到部署的自動化管線。
● 模型維運體系：建立模型版本控管、A/B Testing 機制，並實作 Model/Data Drift 監控與自動化 Rollback 流程。
● Feature Engineering：優化即時特徵計算與存取效率。

3. 大規模數據管線 (Data Engineering)
● Data Pipeline 建置：設計 Batch 與 Streaming 混合架構 (Dataflow, Pub/Sub, BigQuery, Airflow/Composer)，處理高吞吐量數據。
● 數據治理：導入數據品質檢測 (Data Validation / Data Quality) 與異常偵測機制，確保數據可靠性。

4. 高效能後端系統開發 (High Performance Backend)
● API 開發：使用 Python (FastAPI) 開發高併發、低延遲的後端服務 (REST/gRPC)。
● 儲存與快取策略：整合 BigQuery、Redis、Vector DB 等多種資料儲存方案，優化查詢效能。

【必備條件 Must-Have】
1. 3-5 年以上 Data Engineering / Backend / Platform 開發經驗。
2. 精通 Python，並具備紮實的後端開發能力（熟悉 FastAPI）。
3. GCP 深度實戰經驗：
● 熟悉運算資源：GKE (Kubernetes), Cloud Run, MIG (Managed Instance Groups)。
● 熟悉數據產品：BigQuery, GCS, Pub/Sub, Dataflow。
4. Container 與維運能力：精通 Docker, K8s, Helm, HPA 以及 CI/CD 自動化流程。
5. 高流量系統經驗：具備處理高併發、分散式系統設計或突發流量 (Burst Traffic) 的實務經驗。

【加分條件 Nice-to-Have】
1. 具備日均千萬級請求 (10M+ Daily Requests) 或高瞬間流量的系統維運經驗。
2. 熟悉 Terraform 等 IaC 工具。
3. 具備推薦系統、搜尋引擎相關領域知識。
4. 有導入 Feature Store、Vector DB 或 RAG / LLM 應用開發經驗。