資料工程師 Data Engineer

【 資料工程師 ( Data Engineer) 】

在 QSearch，數據是我們最核心的資產。此角色的核心目標是建構公司大數據生態系的「源頭引擎」。您將負責設計、開發與維運可擴展的高速分散式爬蟲系統，與各平台反爬蟲機制正面對決，並優化高併發的 Data Pipeline。這不只是單純的資料抓取，而是需要在效能、系統穩定度與雲端成本（FinOps）之間做出工程智慧取捨的高價值職位。

【 您將在這個職位完成什麼？ 】

◆ 分散式爬蟲系統架構與開發 (Architecture & Crawler Engine)

分層架構設計： 開發可擴展的高速分散式爬蟲系統；採分層架構（擷取 Crawler / 解析 Parser / 彙整 Digest），將網頁請求與資料解析解耦，並具備暫存與資料備援機制，以提升穩定度與可替換性。

多元平台數據處理： 處理多種網頁或平台的資料，包含但不限於：社群媒體、影音、新聞、論壇、部落格及內容網站等，並涵蓋跨境與多語系網域。

核心協作： 與其他夥伴協作，完成 API 開發、資料服務介面與自動化／任務編排流程。

技術傳承： 撰寫技術文件、架構圖與維運手冊，提升團隊知識共享與交接效率。

註：團隊目前技術棧以 Python（FastAPI + Pydantic）為主；雲端平台主要運用 Google Cloud Platform（Cloud Run、Cloud Tasks、Cloud Build 等），任務編排朝 Cloud Tasks / Pub-Sub 與自建排程服務發展。如有 AWS 使用經驗為加分，非必要條件。

◆ 反偵測對抗與防禦工事 (Anti-Scraping & Reverse Engineering)

反偵測與來源維運： 研究並突破各平台反爬蟲機制，包含商用 proxy / unblocker 服務之整合與成本控管、自建 Proxy pool、Cookie / Token 生命週期管理。

逆向工程重建： 進行私有 API（GraphQL / XHR）逆向與請求重建，確保數據抓取的極致穩定。

◆ 數據管線維運與品質防禦 (Data Pipeline & Quality Assurance)

品質保障與監控： 建立爬蟲監控與資料品質保障機制，包含資料完整性驗證、回補（backfill）流程、用量與成本 log 追蹤，並快速排除運作障礙。

效能與成本平衡： 持續優化 Data Pipeline 之效能、效率、穩定度與成本，能在效能、穩定度與雲端／第三方服務成本之間做出合理取捨。

【 我們在尋找這樣的您 (必要項目) 】

◆ 核心技術硬實力

1. 2 年以上豐富的 Python 開發實務，具備優秀的模組化設計與全方位的錯誤處理（Error Handling）思維。

2. 具備熟練的網路爬蟲開發經驗，對定期、長時間高負載運行的爬蟲架構有深入實作心得者佳。

3. 精通 HTML/XML、CSS 及 JavaScript 等前端基礎，具備敏銳的網頁結構解構能力，能精準處理並分析動態載入的網頁內容。

4. 深入理解 HTTP 通訊協定與 Web API 技術機制，擁有拆解前端請求（包含 GraphQL / XHR / 各平台私有 API）並進行高度請求重建的逆向實力。

5. 具備現代全文檢索資料庫（如 Elasticsearch、Apache Solr）的核心架構概念，並熟練運用 SQL 進行資料正規化設計。

6. 熟悉 Git 基礎操作與 Git Flow 分支管理，具備良好的團隊程式碼協作精神。

【 如果您具備以下特質，旅程將更精彩 ( 加分項目 ) 】

1. 擁有 GCP（Cloud Run、Cloud Tasks、Cloud Build）的部署與資源管理經驗，若同時具備 AWS 雲端實務則更佳。

2. 熟悉 Python Web 開發框架（如 FastAPI / Flask），並具備運用 Pydantic 進行資料強型別驗證的開發經歷。

3. 曾實際評估或整合第三方資料擷取與代理服務（如 BrightData、Apify、Decodo 等），並在成本、速度與高穩定度之間進行過權衡評估。

4. 具備瀏覽器自動化測試工具（如 Playwright / Selenium / Puppeteer）的操作經驗，或擁有豐富的私有 API 逆向擷取實績。

5. 熟悉 CI/CD 自動化測試與部署流程，曾操作過 Cloud Build 或 GitLab CI 等自動化工具。

6. 具備 Docker 容器化技術，能獨立建立 Image 並進行 Container 部署與管理。

7. 曾運用任務佇列（Task Queue）或 Data Pipeline 編排工具（如 Cloud Tasks、Pub/Sub 或 Airflow）進行大型專案架構設計。

8. 對雲端架構與第三方服務成本具備敏感度，擁有現代雲端財務管理（FinOps）的基礎認知。

9. 擁抱開源文化，曾有參與開源程式碼（Open Source Project）開發或維護的經驗。

【 優渥的福利保障 】
◆ 彈性假期平衡生活

入職即享彈性：到職第一年即享有 3 天帶薪事假。
優於法規特休：滿一年後，額外加碼 1～3 日特休。
延長婚假期限：登記前 10 天到結婚滿一年間皆可使用。

◆ 共享公司成長果實

14薪規劃。
額外全公司業績分紅，目前正在規劃每年有一個月薪資為獎金池總額的分紅。
隨著營業額提升的三節禮金或禮品。

◆ 團隊凝聚與共創

每年兩次半年會：上午研討交流，中午快樂餐敘，下午教育訓練與未來展望。
豐富團隊活動：每季一次團建（Team Building）與一次員工旅遊。
福利共創計畫：我們持續進化福利制度，歡迎您一同參與提案。

【 這趟旅程的獨特之處 】

在 QSearch，您不是在維護夕陽系統，而是站在大數據的最前線，定義數據採集的「技術上限」。您寫下的每一段逆向工程程式碼、優化的每一條 Pipeline，都直接餵養著公司的 AI 與數據核心，決定了公司產品的競爭優勢。

如果您認同——爬蟲的最高境界是優雅地突破邊界，而資料工程的價值在於將混亂的網絡轉化為結構化的寶藏。那麼，這個角色正為您而設。