數據平台開發工程師

工作說明

1. 建構AI與Data Pipeline平台，整合內外部資料源，設計資料前處理、特徵管理及自動化資料流程，確保資料品質、穩定性與可追溯性
2. 規劃資料儲存與管理架構，涵蓋關聯式資料庫、Data Lake及Metadata Management，提升資料整合效率與跨系統資料治理能力
3. 分析業務需求與應用情境，建立技術藍圖，規劃生成式AI、AI Agent、知識管理及決策支援等AI解決方案
4. 推動AI與數位化專案落地，協作內外部團隊將業務需求轉化為技術方案，執行系統設計、PoC 驗證、導入及持續優化
5. 整合Terraform、GitOps、CI/CD、Helm、Kubernetes及雲端基礎架構，推動開發、測試、部署與維運流程自動化，打造具可擴展性、穩定性及治理能力的AI平台

需求條件

擅長工具：Python
1. 具備資料工程與Data Pipeline開發能力，並具ETL／ELT、資料清洗及資料品質管理經驗。
2. 熟悉Kafka、NATS、Airflow、Celery等資料流程工具，並了解Data Lake、Iceberg、Parquet等資料架構與相關技術。
3. 熟悉PostgreSQL、MySQL等關聯式資料庫，具備Schema設計及資料建模能力，並了解Metadata、Data Catalog、資料生命週期及存取權限管理機制
4. 熟悉Docker、Kubernetes、Helm等容器化技術，並具GKE、KIND或其他雲端平台使用經驗
5. 了解CI/CD、GitOps、IaC等自動化部署流程，以及Prometheus、Grafana、Logging等系統監控機制
6. 熟悉Python軟體開發與API設計，並具FastAPI、gRPC、RESTful API等開發經驗
7. 了解LLM、RAG、Agent Workflow等生成式AI技術與相關應用
8. 具備業務需求分析、系統架構設計及技術文件撰寫能力，能將需求轉化為可落地的技術方案，並與產品、研發及外部合作夥伴進行跨團隊協作