D21-資料工程師(DE)_數據與AI研發部_數據工程組

【職務說明】
隨著雄獅旅遊業務規模持續成長，資料平台的角色正從「支援分析」升級為「驅動 AI 應用」的核心引擎。我們正推動新一代資料湖倉的建置與升級，整合多元系統資料，建構雄獅雲端數據中台。
雄獅期待有能力主導平台設計並推動技術標準，與團隊並肩定義技術方向的資深工程師加入，以 AI 輔助開發加速交付、強化資料平台能力，同時在數據中台的基礎上打造 AI 應用可信賴的資料服務基石，你將深度參與：

• 以 AI 輔助為核心工作方式，重塑資料團隊的開發與交付模式。
• 設計並建置可擴展的大數據資料管線（批次 + 串流雙模架構），並定義其技術標準。
• 主導數倉分層建模落地與 OLAP 查詢效能優化。
• 建立資料品質與治理框架，確保下游分析、BI 與 AI / RAG 應用的資料可信賴性。
• 以 DataOps 與 CI/CD 推動工程標準化，結合 Scrum 敏捷實踐，持續提升團隊交付效率與品質。

【核心職責】
1. AI 輔助工程實踐

• 以 AI Coding Agent 作為日常開發夥伴，執行管線開發、測試生成與系統性除錯，縮短交付週期。
• 建立團隊的 AI 輔助開發規範：Context / Prompt Engineering 準則、AI 產出程式碼的審查標準、可被 Agent 驗收的自動化測試設計。
• 設計可被 AI Agent 操作的資料工程資產，讓 Agent 能自動編寫、營運與診斷資料管線與排程作業，確保產出品質。

2. 資料管線設計與開發

• 主導設計並開發 ETL / ELT 資料管線，整合旅遊各業務域的核心系統資料來源。
• 建構批次（Batch）與串流（Streaming）雙模架構：批次層處理每日增量與全量同步；串流層處理即時事件攝入。
• 設計資料 Schema、Partition 策略與資料湖上的開放表格式儲存。

3. 數倉架構設計與維度建模

• 偕同資料分析師落地 Kimball 維度建模，制定建模規範。
• 主導湖倉分層架構的規範制定與落地；並以 Data Vault 2.0 觀念參與模型設計審查。

4. 資料工程技術棧開發

• 以 Python / Scala 進行 Spark 作業開發與效能調優。
• 主動評估並導入適用的新功能與資料技術，提出有依據的導入決策並承擔結果，持續提升平台演進能力。

5. CI/CD 與 DataOps 工程實踐

• 建立並持續演進資料平台的 CI/CD 流程，實現自動測試、版本管理與自動化部署。
• 編排與管理資料工程作業排程，並透過 CI/CD 與 API 自動化部署。
• 將 AI Agent 納入工程流程：讓 Agent 參與建置、測試與部署管線。

6. 資料品質、治理與 AI 資料就緒

• 建立資料異常偵測機制與品質儀表板。
• 整合 Data Catalog 與資料血緣，支援影響分析與問題溯源；制定資料字典維護標準與敏感資料分級策略。
• 為 AI 應用打造可信賴的資料供給：設計支援 RAG、向量檢索與 AI Agent 的高品質語意層、元資料等。

7. 雲端資料平台整合

• 整合以 Microsoft Fabric 為核心的雲端資料平台，涵蓋資料管線、儲存分析、即時處理與治理等核心服務。

8. 技術領導與跨部門協作

• 主導技術方案評估與架構決策，並提出有數據支撐的方案建議。
• 指導團隊工程師（含 AI 輔助開發工作方式的教練與推廣），執行程式碼審查並協助技術成長規劃。
• 與資料分析師（DA）、資料科學家（DS）、AI 應用團隊緊密協作，確保分析需求與模型需求被正確轉化為可交付的工程規格。

【技術技能】

• 資料倉儲 / 分析引擎：Fabric Warehouse、Lakehouse SQL 分析端點；或 Databricks / Snowflake 同級平台經驗。
• 查詢優化：進階 SQL 效能調校、Execution Plan 分析、Direct Lake 效能優化。
• 程式語言：Python — PySpark / pandas。
• 大數據處理：Spark Notebook / Spark Job Definition。
• 即時串流：Real-Time Intelligence — Eventstream / Eventhouse / KQL。
• 工作流排程：Data Factory Pipeline / Apache Airflow job，DAG 設計與排程管理。
• 維度建模：Kimball（事實表、SCD、星型 / 雪花）。
• 工程化 CI/CD：Git 整合 / Deployment Pipelines、Azure DevOps 或 GitHub Actions。
• 資料湖儲存：OneLake、Delta Lake。
• 資料治理：資料血緣、資料字典、OneLake Catalog / Microsoft Purview。
• AI 輔助開發：AI Coding Agent 工作流 — 任務拆解、Context 管理、審查 AI 產出、將 Agent 整合進 CI/CD。

【我們重視的特質】

• 當責與主見：主動定義問題範疇、提出方案並推進落地。
• 技術判斷力：面對多種技術選型能提出評估建議；對 AI 產出保持批判性驗證習慣。
• 團隊溝通：具備良好的溝通協作能力，能與 PM、SA 共同釐清需求並解決問題。
• 文件習慣：架構設計、管線設計均留有可追溯文件；善用 AI 工具讓文件與程式碼同步演進。