【前瞻研究籌獲中心】系統後端工程師(台北)
Description
1. 協助概念驗證程式開發、後端服務建置及產品功能落地,支援不實資訊、網路詐騙、深偽影音等相關應用系統之開發與維運。
2. 建構高效、可擴展且穩定之後端服務,開發與串接 API、AI 模型推論服務及資料處理流程,並與前端、資料及產品團隊協作完成系統整合。
3. 依產品與資料需求研究並開發自動化資料蒐集工具,完成資料擷取、清洗、去重、欄位標準化與結構化,並將結果穩定寫入資料庫或資料儲存環境。
4. 解析目標網站與資料管道,包含 HTML、API 及動態渲染頁面,制定爬取規格、更新頻率、資料欄位、驗證規則與抓取策略,以提升資料完整度、正確性與擷取效率。
5. 建置可維運之爬蟲工作流與監控機制,包含排程、自動化部署、日誌紀錄、指標蒐集、異常告警及問題排除,並支援跨專案資料交付與技術文件撰寫。
工作經驗:
工作經驗不拘,無經驗可,具資訊相關工作經驗尤佳
專業能力:
1.具備 Python、Golang、Node.js 等後端程式語言開發經驗,並熟悉 Flask、FastAPI、Gin、Express 等至少一項後端開發框架。
2. 具備 RESTful API 設計、API 文件撰寫、版本控制 Git 使用經驗,並了解 HTTP、TCP、JWT 認證、API Gateway、使用者權限管理及基本資訊安全概念。
3. 具備自動化資料蒐集工具開發經驗,熟悉至少一種爬蟲常用語言,能依資料需求獨立完成資料擷取、清洗、結構化與來源追溯。
4. 具備網頁機制與資料管道解析經驗,熟悉 JavaScript、DOM、Network、Cookie、Session、Token 等機制,並了解常見反爬限制及因應方式。
5. 具備爬蟲維運與資料交付經驗,能設計重試退避、斷點續爬、併發控制、排程監控、異常偵測及資料寫入流程,具 Cloudflare 對抗、海外網站蒐集或觀測工具使用經驗尤佳。