[ Python ] Senior Data Engineer 資料工程師 #Data & AI #ACT年度敏捷組織
Posted Updated 2
views
Description
Athemaster 以 MetaRoots 與 DQSentry 為核心,服務金融與零售企業,打造高擴充性的資料平台與品質監控框架,從 DataOps 到 AI 應用,挑戰真實企業級資料環境。
▎你想知道的 Athemaster:
請前往:https://linktr.ee/athemaster
▎Athemaster | 你會遇見這10種生活方式
https://reurl.cc/koZGGr
▎Why Join Us
● 2種開發模式:瀑布 & 敏捷 雙刀流 [ 獲台灣敏捷協會 #2024 #2025 敏捷大賞獎 ]
● 5種職系任你混搭搭配:每年依照個人意願打造專屬的成長路徑與職涯,不是工作量增加,而是組合技增加。
● 25堂阿基米德創客間:雙週五的固定學習講座課程,來自內部6個社群與聘請外部講師共學。
● 98% 以上機率可以 Work & Life Balance:此為所有專案成員的共同目標,並且認真執行。
● 200個以上的學習資源:包含線上課、電子書、實體書及多樣化的學習方式。
▎Job Description
參與內外部專案,幫助企業客戶運維 Data infra(資料基礎建設)、研發 Data pipeline(資料管線) 與 Data products(資料產品),整合與提升企業商務系統,以滿足 Data-Driven 數據驅動之轉型目標。並與團隊一起發展 Athemaster 2.0 data project 方法論。
▎主要工作內容
- Data pipeline 設計
- Data pipeline 程式撰寫與測試
- Data pipeline 部署與維運
- Data products 之運維(Data Products:例如資料表、演算法(模型)、API、儀表板或應用系統)
▎我們希望你有的經驗跟特質
- 對 Data-Driven Business 和 Data Engineering 有極大的熱情。
- 了解架構資料平台所需的相關技術,例如 RDBMS, NoSQL DB, Search Engine, Data Warehouse, Event Streaming Platform 等。
- 有 ETL 或資料分析案之專案經驗。
- 樂於與團隊互動、與客戶合作,並回應變化,願意了解客戶產業的領域知識以開發可用的軟體。
- 認同溝通的雙向性,職務內所需之訊息主動聽取、提出必要問題以正確理解,不依靠他人作為自己的眼睛、耳朵與嘴巴。
- 認同權限與責任對等原則,尊重擔負責任者經共識活動後的最終決策,並接受自己角色範圍內的指派。
- 認同角色範圍內個人能力應穩定輸出,達成預期之客戶價值。認同喜好或優先於團隊的個人考慮並非挑撿任務之合理原因。
- 樂於學習最新的技術,隨時充實自我的專業技能。
▎應徵條件
- 熟悉 Python 程式語言。Athemaster主要用 Python & Java。
- 熟悉至少一種 SQL **與** NoSQL 資料庫的運用。例如 MySQL、PostgreSQL、Mongo 任一種。
- 具有分散式運算的相關知識。例如 Spark、Hadoop、Hive、impala、kafka等。
- 熟悉 Git, Jenkis, Airflow 等 Data Pipeline 開發關聯系統之使用。
- 至少 3 年工作經驗
- 1 年以上擔任 Data Engineer 角色參與專案之經驗,並熟悉 ETL 流程
▎加分條件
- 願意參與 Data infra 維運(Data Infra:各種儲存結構化或半結構化資料的系統)。
- 願意參與運維最佳化系統效率與穩定度,架構高速、穩定且容易擴充的計算平台。
- 具有使用 NoSQL 的實務經驗。例如 HBase、Cassandra、Redis、MongoDB 等一種或多種相關技術。
- 具有使用 Streaming 資料處理系統的實務經驗。例如 Spark-streaming、Kafka、Flink 等。
- 具有使用 ETL Tool 資料整合工具的實務經驗。例如 Informatica, NiFi, Pentaho 等。
- 熟悉任一種視覺化工具。例如 Tableau, Power BI, Redash 等。