【工程部】部門|大數據工程師 BigData Engineer (JIRA705)
Posted Updated 5
views
Description
【大數據團隊】
- 你將參與開發優化高度可擴展的 data infra,直接面對大規模數據帶來的技術挑戰。
- 我們的大數據團隊專注於建立公司的 data infra,讓同仁可以從乾淨的數據中找到 insight 以及做出精準的 data-driven 決策。
【工作內容】
1. 維護公司內部的分散式大數據架構:維運包含 Hadoop、Spark、ZooKeeper 的分散式大數據架構,確保高可用性以及系統穩定性。
2. 開發內部數據中台:使用 Scala 進行後端開發,建構數據多個數據同步、運算模組,使數據分析師可針對不同資料源(Kafka, Mongo, MySQL, MsSQL, ELK, etc.) 的資料進行客製化處理。
3. 升級與強化數據中台:持續優化既有中台功能、穩定性與可觀測性,學習並實作大數據底層技術以提升系統效能。
【應徵條件】
1. 核心開發能力:具備紮實的程式邏輯,熟悉 Scala 或 Java 尤佳
2. 數據與資料庫:熟悉 SQL 語法
3. 大數據基礎:具備至少一種大數據組件(如:Hadoop, Spark, Kafka)的基礎知識(eg. 實習、課堂專案、自學或實作經驗)。
4. 開發環境基礎:熟悉 Linux 基本操作指令與 Git 版本控制工具。
5. 對探索「底層技術」與「系統架構」有強烈動機,且具備解決問題的耐心。
【加分項目】
1. 後端開發經驗:曾接觸過 Web 後端框架(如:Play Framework, Spring Boot 等)
2. 分散式系統認知:理解分散式運算理論,熟悉多種大數據組件之運作機制。
3. AI 協作特質:能定義問題以及需求,並且透過 prompt 精確轉化為 AI 產出,確保品質並且交付,享受與 AI 共同解決問題的過程。