AI Data Engineer AI 資料工程師

【關於這個職位】
你將設計與維護資料管線（data pipelines）、建立同時供產品與 AI 使用的資料模型，並打造讓 AI Agent 能可靠查詢、推理與操作公司資料的基礎架構。工作範圍涵蓋資料擷取、品質監控、語意層（semantic layer）設計，以及 AI Agent 的資料介面。

你的主要重點會放在資料層本身 —— 包括資料管線、資料模型、品質監控與語意基礎設施。但這個角色也會深入產品與機器學習領域，例如：

• 建立 AI 產品功能
• 探索與驗證 ML 方法
• 將模型從研究階段推向正式上線

目前我們尚未建立完整的 ML pipeline，因此我們希望找到一位足夠好奇、願意探索可能性、找出適合我們問題的方法，並協助從零開始建立這項能力的人。不是所有嘗試第一次都會成功，而這完全沒問題。

我們正在尋找一位能高度自主工作的人：能定義問題、評估方案、做出取捨決策，並真正把產品交付出去。

【我們正在打造什麼】
大多數公司都會在產品資料庫、分析工具與手動報表之間累積大量資料，最終卻面臨：

• 指標定義不一致
• 商業邏輯不清楚
• 重複的人工流程
• 關鍵知識只存在於少數人的腦中

而我們正在解決這個問題。

我們的工作橫跨四個層次：
1. 可信資料（Trusted Data）：擷取、清理、監控資料，讓資料可靠可信。
2. 定義完善的資料（Defined Data）：將原始資料轉換成有良好文件化的資料集、指標與商業定義。
3. 商業脈絡（Business Context）：保存讓資料有意義的領域知識、規則與假設。
4. AI 工作流程（AI Workflows）：將上述所有內容整合進 AI Agent、自助分析與實際可用的自動化流程中。

你將主要參與第 1–3 層，並隨著對業務理解增加，逐步深入第 4 層。

AI 並非只是概念驗證（demo）而已。我們正在正式推出 AI Agents，用來：

• 回答商業問題
• 自動化報表
• 協助營運決策

【主要職責】

• 設計、建立與維護批次與串流資料管線，來源包含：資料庫、API、雲端儲存、Log、Event Streams
• 建立與維護資料模型（raw / cleaned / curated），供以下用途使用：產品功能、報表、分析、AI 系統
• 定義指標邏輯、資料品質規則與使用文件，讓人類與 AI 都能正確且有信心地使用資料。
• 建立與維護語意描述、metadata 與 context layer，使 AI Agent 不只理解資料結構，更理解資料意義。
• 設計供 AI Agent 查詢的資料介面與 API，確保穩定性、可解釋性、結果正確性
• 調查資料異常與不一致問題，找出根本原因，並建立可持續的預防與監控機制。
• 與產品、商務與工程團隊合作，對齊資料定義並交付關鍵資料資產。
• 建立或延伸 AI 產品功能，例如：Agent workflow、推薦邏輯、自動化報表
• 研究、原型開發與評估 ML 方法，解決真實商業問題，並將有潛力的方法投入生產環境。

由於我們正在建立這項能力，你也將參與定義它未來的樣貌。

【必備資格】

〔工程深度 Engineering Depth〕
我們更重視你的思考方式，而不是你會哪些工具。

你應該能從第一原理（first principles）出發設計資料系統，例如：
1. 對儲存模型、索引設計、查詢最佳化與反正規化（denormalization）做合理取捨
2. 理解分散式資料系統中的：一致性（consistency）、分區（partitioning）、故障模式（failure modes）、傳輸保證（delivery guarantees）
3. 能分析效能瓶頸，例如：記憶體、concurrency、I/O、網路問題，而不是只靠猜測反覆重試。
4. 能熟悉操作：雲端基礎架構、容器化工作負載、CI/CD pipeline

〔AI 與 ML 能力〕
1. 有為 AI / ML 準備資料的經驗，例如：feature store, semantic layer, prompt-driven data interface, AI agent data backend
2. 理解 AI 系統如何消費與推理結構化資料，以及資料層不可靠時會造成哪些問題。
3. 至少具備以下其中一項實務經驗：

• 為 AI Agent 建立 data API
• 設計 semantic / context layer
• 支援 LLM-powered analytics
• 推出 AI-enabled data product

4. 能閱讀 ML 論文、評估方法，並自行實作可運作的解決方案。
你不一定需要 ML 研究背景或發表過論文，但應該能從：「這是一個問題」走到「這是一個可運作的 prototype」

〔判斷力與 Ownership〕
1. 能在資訊不完整時有效工作：先定義可行版本、明確說明假設、持續迭代
2. 能評估多種方案並解釋設計選擇背後的理由。
3. 主動溝通：分享進度、提前提出阻礙、向非技術人員解釋技術決策
4. 能主動發現下一個高價值任務，而不是等待指示。
5. 願意在需要時支援相鄰領域：backend service、internal tooling、prototype 開發

〔加分條件〕
1. 有 modern data platform / lakehouse 架構經驗，例如：Databricks、Snowflake、BigQuery
2. 熟悉 Spark、Delta Lake、dbt、Airflow，或類似 orchestration / transformation 工具
3. 有資料觀測性（observability）、lineage、品質監控與 governance 經驗。
4. 有推出以下產品的經驗：AI Agent、RAG 系統、LLM-powered application（且以結構化資料為基礎）
5. 有新創公司或小型工程團隊工作經驗。