【國泰投信】資深資料工程師 Senior Data Engineer_I00022193
Summary
Senior Data Engineer at Cathay Investment Trust (asset management) who designs and optimizes distributed data platforms — Hadoop, Lakehouse (Delta Lake), Spark on Kubernetes — sets ETL development standards, and leads the team on performance tuning and technical challenges supporting investment, risk, and customer analytics.
我們運用新型金融科技，致力於推動資產管理的發展，與各產業進行策略合作，確保受託資產得到妥善管理和運用，提供投資人多元的基金商品選擇，創造更高的資產價值。
團隊擁有多樣化思維，透過多維角度思考如何透過數據在投資決策、風險管理和客戶服務中進行應用。
1. 規劃並實現分散式數據架構，包括 Hadoop、湖倉一體（(Lakehouse）、Spark on Kubernetes 的部署與優化。
2. 熟悉整合開源元件（如 Delta Lake） 與商用解決方案 （如 Tableau）。
3. 制定 ETL 資料處理流程（資料存取、蒐集、處理和儲存）的開發標準與最佳實踐，確保系統的高效、穩定與可擴展性。
4. 負責數據架構的效能優化，指導並帶領團隊解決技術難題。
【必要條件】
1. 5 年以上資料工程經驗，具備分散式系統與容器化經驗。
2. 具備 Python 軟體開發或資料處理經驗。
3. 具備 Linux 系統的基礎知識及操作經驗。
4. 具備 SQL 語法及操作資料庫的基礎知識及經驗。
5. 具備 Kubernetes（或 OpenShift）及 Docker 相關經驗。
6. 具備 ETL 資料處理流程（資料存取、蒐集、處理和儲存） 設計、開發與維護能力。
7. 熟悉軟體專案開發流程，包含軟體測試 (如 pytest 單元測試、整合測試) 的開發經驗。
8. 熟悉分散式叢集架構和分散式資料處理框架，如 Spark（PySpark）、Hadoop、Kafka 等。
9. 良好的跨團隊溝通與領導能力，能帶領團隊完成項目。