【Data Engineer】 資料工程師

我們正處於數據架構升級的關鍵階段。尋找一位數據工程專家與我們共同重新定義數據流。
你將負責冷熱數據分離架構的落地，並優化我們的 Data Warehouse 架構，確保在海量數據環境下，數據依然能兼具查詢效能與成本。

【你將面臨的核心技術挑戰】

• 巨量數據遷移與同步：面對TB級別的資料庫，設計高可靠、低延遲的機制（如 CDC），確保在不影響生產數據庫效能的前提下，完成數據的準即時同步。
• 冷熱數據分離架構：參與定義數據生命週期管理（DLM），設計並實作冷熱數據分流邏輯，優化 OLTP 資料庫的查詢壓力。
• 資料倉儲架構：建立高性能的數據建模，解決巨量資料在分析時遇到的 Data Skew、成本爆炸或查詢超時問題。
• 數據管理與驗證：在異質環境轉移過程中，建立嚴謹的數據比對與驗證系統，確保Data Warehouse 上的資料與DB達到一致性。

【你會負責什麼】

• 優化數據架構：規劃與維護 Scalable ETL/ELT Pipelines，負責TB等級數據的處理與轉換。
• 高性能數據模型：針對分析需求，設計 BigQuery 分層架構（ODS , DWD , DWS , ADS），並透過反正規化與寬表設計加速 BI 決策。
• 系統穩定與監控：針對大規模管線建立負載監控與異常自動恢復（Auto-retry）機制。
• 跨團隊協作：與DBA協作，優化資料表索引與 Partition 策略以優化讀取；與 BI 團隊合作，將數據轉化為高價值的分析資產。

【技能要求】

• 熟悉 SQL：須熟悉RDBMS（如MySQL , MSSQL , PostgreSQL），並了解執行計畫、索引原理。
• 大規模數據處理經驗：具備處理過 TB 級數據倉庫或大型數據遷移項目的實戰紀錄。
• 程式開發能力：熟練 Python 或 Go / Scala / Java，能撰寫穩定且高效的自動化數據處理邏輯及API 串接。
• 排程工具應用：熟悉 Airflow / Cloud Composer 等，能管理複雜的任務依賴與並發處理。
• 雲端倉儲經驗：使用過 BigQuery 等雲端資料倉儲經驗。
• 熟悉版本控制（Git）與自動化 pipeline 工具（Airflow、Cloud Composer 或其他）
• 工作經驗：具備 3 年以上相關工作經驗。

【Nice-to-have】

• 了解 MySQL Binlog 機制、CDC（Change Data Capture）工具者佳。
• 熟悉 Looker Studio、Power BI 或其他 BI 工具
• 有處理 TB 級資料或大型資料管線經驗
• 良好的問題排除能力與團隊合作精神