Data Engineer 資料工程師_ENG Center

職務影響力
本職位以資料工程與分析平台建設為核心，負責打造穩定、可擴展且可維運的工程數據基礎設施，作為工程與研發團隊進行數據決策的關鍵支撐。透過提升資料管道品質、系統自動化與整體擴展性，使資料分析工程師與工程團隊能在一致且可信的數據基礎上，規模化地產出可靠洞見，而非仰賴零散的個人分析。

職務說明
1. 以工程與研發決策需求為出發點，盤點產品、製程與實驗相關數據來源，包含製造端與實驗室數據，定義資料整合範圍、資料流向與資料倉儲建設的優先順序。
2. 進行現有資料管道與平台架構的盤點與評估，主導 Airflow 與 dbt 的架構升級，從單純排程執行進化為具備自動化測試、資料品質檢查（Data Quality Check）與異常告警機制的穩定系統。
3. 規劃並優化資料處理流程，評估並導入 Polars、Numba 等高效能技術，以取代既有 Pandas 流程，因應資料量級成長並提升整體處理效能。
4. 設計並開發穩定的資料介接機制，包含以 Python 或其他合適工具建置與維護 Custom Connectors，將異質數據源整合至統一的資料倉儲架構中。
5. 負責資料相關基礎設施的維運與自動化，包含地端伺服器與資料庫（E.g. Nginx、PostgreSQL、NAS），並推動 CI/CD 流程，確保開發與正式環境的一致性，降低人工維護成本。
6. 與資料分析工程師與內部分析相關角色協作，建立結構清楚、定義一致的 Data Marts，並帶領撰寫技術文件與開發規範，提升資料使用效率與團隊協作品質。

資格條件
1. 具備紮實的 Python 工程能力，熟悉資料處理，並具備良好的軟體工程思維 ( 如模組化設計、設計模式 ) ，能撰寫可維護、可擴展的程式碼；具備大數據處理經驗 ( 如 Polars ) 者尤佳。
2. 具備系統與資料庫管理能力，熟悉 PostgreSQL 的效能調校 ( 如 Indexing、Partitioning ），並具備 Linux 系統操作與 Container 技術 ( Docker ) 實務經驗。
3. 具備良好的跨角色溝通能力，能理解工程與資料分析需求，並將需求轉化為穩定、可長期運作的系統架構與資料流程。

加分條件
1. 具備資料分析相關經驗，能理解分析流程、分析假設與使用情境，有助於設計更貼近實際分析需求的資料平台與 Data Marts。
2. 熟悉 Streamlit 或相關前端 / 視覺化框架，能協助維護與優化內部工程數據入口平台，理解資料從後端到使用者介面的呈現流程，提升資料平台的可用性與實際使用效率。
3. 熟悉現代數據堆疊 ( Modern Data Stack ) ，對資料管道與資料處理流程具備實際建置與優化經驗，包含 Airflow、Python/dbt 等相關工具。
4. 具備自動化與系統化思維，能將重複性作業轉化為穩定流程，並具備建立或導入 CI / CD Pipeline 的實際經驗，以確保開發與正式環境的一致性。