資料工程師 Data Engineer
Summary
Data Engineer role in Taipei building and maintaining data pipelines, data modeling, and Data Lakehouse architecture on a GCP-centric stack (BigQuery, Cloud Composer/Airflow, Cloud Run/Functions), supporting enterprise data infrastructure for AI/ML and advanced analytics. Requires Python, expert SQL, CI/CD/IaC, and Docker/Kubernetes.
職位描述--
這是一個 Data Engineer (DE) 職位，並非 Data Analyst (資料分析師) 或 Data Scientist (資料科學家)。本職位的核心工作是：在以 GCP 為中心的雲端環境中，負責建置與維護 Data Pipeline (資料管線)、資料建模 (Data Modeling) 以及 Data Lakehouse 架構。候選人將處理企業級的資料基礎設施，以支援 AI/ML 和進階數據分析的需求。
必備技術技能 (Must-Have Technical Skills)--
我們希望候選人在以下多數領域具備實作經驗：
1. Python：精通 Python，特別是在資料工程與自動化流程的應用（而不僅僅是撰寫簡單腳本或 ML 模型）。
2. SQL：專家級別，具備 BigQuery 或類似雲端資料倉儲 (Data Warehouse) 的實務經驗。
3. GCP (Google Cloud Platform)：具備 Google 雲端服務的實作經驗，包含 BigQuery、Cloud Composer (Airflow)、Cloud Run、Cloud Functions 以及 GCP 監控與日誌紀錄 (Monitoring/Logging)。
5. Data Pipeline 開發：具備調度工具 (Orchestration tools) 如 Airflow、串流平台如 Kafka，或 CDC (Change Data Capture) 工具如 Qlik 的使用經驗。
6. Data Lakehouse / 資料建模：瞭解 Lakehouse 架構原則，並能針對分析情境進行資料建模。
7. CI/CD 與 IaC (基礎設施即代碼)：熟悉 Terraform、GitHub Actions 或 Jenkins。
8. 容器化技術 (Containers)：具備 Docker 與 Kubernetes (K8s) 的操作知識。
加分條件 (Nice-to-Have)--
1. 具備資料治理 (Data Governance) 框架或工具（如 Informatica）的經驗。
2. 接觸過 BigQuery PII (個人識別資訊) 處理及客戶自管金鑰 (CMEK)。
3. 具備支援 AI/ML 模型開發管線 (MLOps) 的經驗。
4.曾參與開源專案 (Open-source contributions)。