Platform Engineer (MLOps / DevOps)

# Platform Engineer (MLOps / DevOps) Job Description

## 關於這個角色

Calyx 的產品橫跨 IoT 感測、雲端 SaaS 與電腦視覺模型，運算與資料的規模都在持續成長。
這個角色負責支撐這些工作負載的底層平台 —— **近期的主要任務會聚焦在「分散式運算平台」與
「Data Lake」相關技術的建置與維運**。

因此我們把 **MLOps 實務經驗列為必要條件**；若你同時具備 **Data Lake 的維運概念**，會是很好的加分。

## 職務內容 (按照重要度排序)

• 規模化機器學習模型的訓練自動化，與模型部署自動化
• 以事件驅動方式，設計依照計算需求量而制定的高可擴展系統
• 建置與維運分散式運算與 batch / training pipeline 平台：資源調度、GPU node pool、quota 與 job 生命週期治理
• 設計與開發資料處理系統並撰寫相關文件
• 參與 Data Lake 的建置與維運：table 治理（partition 設計、compaction、snapshot 與 retention 過期）與儲存分層策略
• 開發服務**內部客戶**的平台服務與工具：包含 RESTful API 與必要的前後端串接，讓 ML、資料與維運團隊能自助觸發 pipeline、查詢 job 狀態與檢視資料
• 提升軟體系統品質（包括但不限於優化 DB 的讀取/寫入、提升系統 Reliability, Availability與Scalability）
• 提升團隊開發品質（包括但不限於優化開發流程、導入更好的開發工具、分享更好的開發經驗）
• 部屬與監控開發完成的程式

## 必備技能 (按照重要度排序)

• **MLOps 實務經驗**：曾實際建置或維運機器學習的訓練／部署自動化 pipeline，而非僅有概念認識。

工具不限特定方案 —— Kubeflow、MLflow、Airflow、Argo Workflows、AWS SageMaker、Flyte、Metaflow
等任一皆可。我們想聽你說明自己負責過的 pipeline 如何處理 **retry、artifact 版本與 lineage、
可重現性，以及失敗時的診斷路徑**

• **熟悉至少一套 Agentic Coding 工具**（Claude Code、Codex、Cursor 等皆可）：能實際用在維運腳本、

IaC 與 pipeline 開發上，並能判斷其產出何時可信、何時需要人為驗證

• 熟悉 AWS 生態系的服務，如: EC2, VPC, ECR, EKS等
• 熟悉 Kubernetes 生態，如: ArgoCD, Karpenter, Calico, Istio等
• 熟悉將算力 scale up/down 機制與方法，工具(但不限)如: Kubernetes, KEDA (Kubernetes Event-driven Autoscaling), Ray, Spark, AWS SageMaker等
• 熟練使用 Python 或 TypeScript 進行後端或是資料工程相關程式開發，並能使用 Git 進行版本控制
• 熟悉 MongoDB 且能夠建構資料儲存方案並進行效能調整
• 熟悉 Prometheus、Grafana 或其他監控工具

## 加分技能 (依重要序排)

• **Data Lake 維運概念或經驗**：有任何 Data Lake 的實際經驗即可，**不限 solution** ——

Apache Iceberg、Delta Lake、Apache Hudi、BigQuery、Snowflake、Databricks，或自建
Parquet + Hive partition 都算。我們在意的是你理解 table format 的**維運面**：schema
evolution、partition 設計與 partition pruning、小檔 compaction、snapshot / metadata
膨脹治理，以及儲存分層的成本取捨

• 有 **GPU 工作負載維運**經驗：driver / CUDA / container runtime 的相容性矩陣、GPU 使用率與

記憶體監控、多 job 共用 GPU 的 quota 與排隊策略

• 熟悉 Kafka、Pulsar、GCP Pub/Sub 或 AWS Kinesis 等任一個分散式訊息佇列系統，用於設計和實現高效能的data pipeline
• **能獨立完成內部工具的前端**：不需要產品級的 UI/UX，但能用 React 或類似框架把平台能力

做成堪用的操作介面，讓內部團隊自己完成日常操作

• 對機器學習相關工作流程有基本了解，能與 ML 工程師團隊合作設計資料管線以支援模型訓練和部署。
• 有 ML 相關經驗（例如：PyTorch, AirFlow, MLFlow, KubeFlow）

## Calyx Tech Stack

• Javascript/TypeScript (NestJS, React)
• Python (FastAPI)
• MongoDB
• AWS
• Kubernetes
• Docker
• Terraform
• Observability: Grafana, Prometheus, Loki, Alloy
• Kafka
• Ray
• Apache Iceberg
• PyTorch, scikit-learn
• LoRaWAN