資料工程師 (台北地區)

我們正在尋找一位充滿熱情且具備專業知識的資料工程師，加入我們的數據團隊。您將負責設計、建置、優化與維護公司的資料基礎設施和 ETL/ELT 流程，確保資料的準確性、可用性與效率。您將與資料科學家、分析師和軟體工程師緊密合作，共同為公司提供可靠的數據支持，並將原始資料轉化為有價值的洞察。

主要職責
1. 資料管線建置與維護：

• 設計、開發、建置和維護可擴展且高效的 ETL (Extract, Transform, Load) 或 ELT 資料管線。
• 從多種資料來源（如資料庫、API、日誌檔案等）進行資料擷取、清洗、轉換和載入。
• 確保資料流程的穩定性、自動化與排程。

2. 資料倉儲與資料湖管理：

• 管理和維護資料倉儲 (Data Warehouse) 或資料湖 (Data Lake) 相關架構。
• 熟悉資料建模，並優化資料結構以滿足分析需求。
• 確保資料的品質、一致性與安全性。

3. 基礎設施與工具：

• 利用排程工具（如 Airflow）管理資料工作流程。
• 運用 Python 程式語言撰寫資料處理腳本。
• 精通 Linux 作業系統，並具備 Shell Scripting 能力。

4. 效能優化與故障排除：

• 監控資料管線的效能，並進行優化，以提升處理速度和效率。
• 針對資料流程中的問題進行故障排除，確保資料的即時性和準確性。

5. 協作與溝通：

• 與資料科學家合作，支援其模型開發與數據需求。
• 與業務團隊和產品經理溝通，理解其數據需求並提供技術解決方案。

職位要求

• 具備至少 3 年以上的資料工程、軟體工程或相關領域工作經驗。
• 精通 Python 程式語言，並熟悉其在資料處理中的常用函式庫（如 Pandas, NumPy）。
• 熟悉 SQL，並具備處理和優化大型資料集的能力。
• 有建置和維護 ETL/ELT 資料管線的實務經驗。
• 熟悉資料倉儲和資料湖的設計概念與實作。
• 具備使用雲端平台（AWS）的經驗。
• 熟悉排程工具（如 Apache Airflow）的使用。
• 具備良好的溝通協調能力、團隊合作精神和解決問題的能力。

加分條件

• 有使用 Spark, Flink 等分散式運算框架的經驗。
• 熟悉大數據技術生態系，如 Hadoop, Hive。
• 有 NoSQL 資料庫 (MongoDB, Cassandra) 或即時資料處理 (Kafka) 的經驗。
• 具備 DevOps 或 CI/CD 流程的相關知識。
• 持有相關雲端服務或資料工程認證。

我們期待對數據充滿熱情、具備強大技術背景，並樂於在快速變動環境中成長的您加入！