數據工程師-政金部(PS170)

需求與架構：與客戶及內部團隊釐清需求，將業務需求轉化為可落地的資料處理流程與 Data Pipeline 架構，並撰寫清楚的技術文件。
Pipeline 開發：設計、開發與維護 ETL／ELT 流程，整合 API、資料庫、檔案等異質資料來源。
工具與排程：使用 Pentaho、Apache Hop、Trinity、SSIS、AWS Glue 或其他 ETL／ELT 與資料排程工具，開發及管理資料轉換任務。
資料處理：撰寫 Python 與 SQL 處理邏輯，支援資料清理、轉換、驗證及 API 串接等需求。
品質與可靠性：建立資料品質檢查、Logging、失敗重試、異常監控與告警機制，協助問題追蹤及復原。
效能優化：檢視並優化既有 ETL／ELT 流程與 Data Pipeline 架構，提升處理效能、穩定性及可維護性。
開發與部署：運用 Docker 建置一致的開發環境，並配合 Linux、Git 及 CI／CD 流程進行版本控管、測試與部署。
技術協作：參與 Code Review、技術設計檢視及經驗分享，協助團隊維持資料流程與程式碼品質。
AI Agent 協作：運用生成式 AI／AI Agent 工具協助 Python／SQL 開發、ETL／ELT 流程設計、程式碼重構、測試案例、技術文件、除錯及異常事件分析；對 AI 產出進行程式碼審查、測試與安全檢查，確保符合團隊開發規範及資料保護要求。
其他：執行與數據處理及平台維運相關之交辦事項。