數據工程師

AIR SPACE為台灣第一女裝品牌，
我們提供安心的工作環境、人才培育訓練課程，
願您能成為永續經營的共同夥伴，歡迎加入AIR SPACE團隊！

【我們在找什麼樣的你】

熟悉資料庫、ETL 流程與數據建模，能有效整理、清理與分析大量數據，
喜歡挑戰資料技術問題，也樂於探索新工具與方法，
如果你想用數據驅動決策，幫助品牌成長、策略落地，
我們期待你的加入，一起打造智慧型數據平台。

【你的工作內容】

1. 現代化湖倉架構維運

-精實架構設計： 使用 Databricks 構建 Medallion Architecture，確保數據流轉透明且高效。
-數據治理： 利用 Unity Catalog 實現跨工作區的數據治理、血緣追蹤與精細權限控制
-存算分離優化： 結合 ADLS Gen2 與 Delta Lake 格式，優化數據儲存結構以提升查詢效能。

2. 自動化數據流水線

-高效調度： 使用 Databricks Workflows 或 ADF 構建現代化流水線，實現數據清洗與轉換自動化。
-極致成本控管： 善用 Databricks Serverless SQL 與 Photon 引擎，精算 Spark 任務，目標是「以最低 DBU 消耗處理最大規模數據」。
-存儲生命週期： 結合 ADLS Gen2 存儲策略，自動將冷數據封存，降低長期存儲開銷。

3. AI 與向量數據維運

-向量索引自動化： 透過 Databricks Vector Search 構建 RAG 所需的向量數據流水線，自動同步 Delta Table 至向量索引。
-AI 數據處理： 自動化非結構化數據處理（如使用 OCR 或 LLM 進行提取），為企業知識庫提供高質量 Embedding 數據。

4. 數據觀測與故障排除

-即時監控： 整合 Azure Monitor 與 Databricks Dashboard，監控數據延遲、任務成功率與數據品質指標。

5. 模型運維與數據服務

-MLflow 生命週期管理： 利用 MLflow 進行實驗追蹤 (Tracking)、模型版本控制 (Model Registry) 與封裝，確保 AI 模型開發過程可追溯且具備高度可重現性。
-模型生產化： 結合 Databricks Model Serving，將訓練好的模型快速部署為低延遲的 REST API，並監控模型在生產環境中的推論表現。
-數據 API 化： 將處理後的 Gold 層數據或模型預測結果封裝成高效 API，供產品端或 AI Agents (如 AutoGPT, LangChain) 直接調用。
-自助式分析平台： 維運 PowerBI 或 Superset，設計高效能的數據模型 (Semantic Layer)，讓非技術同仁能以最低算力成本獲取決策數據。

【我們希望你具備】

1.程式與數據能力： 熟悉 SQL 與 Python
2.解決問題的直覺： 看到數據異常時，能快速定位是源頭資料、程式邏輯還是基礎設施的問題。
3.雲端成本意識： 熟悉 Azure 計費模式，能透過調整叢集策略 (Cluster Policies) 或預留實例優化支出。
4.具2 年以上數據分析經驗，擅長資料探索、清理、檢誤等處理流程

【加分條件】

1. 開發爬蟲程式、語意分析，文字探勘、地理資訊系統
2. 開發自然語言/文字探勘模型、研發數據標籤與應用
3. 具備獨立解決問題尋找答案除錯能力，並願意積極學習新的資料科學與分析相關技術

【通勤概略】

1. 近士林捷運站2號出口(210公尺)，走路僅需3分鐘
2. 自行駕車/騎車：大樓室內停車場可承租車位，避免尖峰時間找尋車位的困擾