資料工程師(Data Engineer)
Posted Updated 4
views
Description
工作內容
•設計與開發針對各類網路媒體與社群平台的資料蒐集系統
•維護與優化現有爬蟲,應對頁面改版、防護機制調整等變動
•建立排程任務,監控資料蒐集品質與異常狀況
•將蒐集資料寫入大數據資料庫,配合後端需求設計儲存結構
•分析蒐集失敗根因,針對不同平台架構提出技術解法
職位要求
•Python 開發 5 年以上
•熟悉 HTML 解析及 HTTP 協定原理
•能透過 DevTools 分析網站 API 請求,理解並重現瀏覽器行為
•具備閱讀與分析未公開 API、SSR 頁面資料結構的能力
•熟悉 TLS 握手機制,了解瀏覽器指紋識別原理
•能在 Linux 環境獨立部署與管理資料蒐集服務
•具備 Git 版本控制習慣