Data Engineer / 資料工程師(Python)

職位概要:
我們正在尋找一位專精於資料整理和Python開發的Python資料工程師，主要負責資料的清洗、標準化和品質控制工作。

1. 數據清洗和標準化:

• 處理原始資料，識別和處理異常值。
• 統一資料格式和編碼標準。
• 補齊缺失值和修正錯誤資料。
• 建立資料清洗規則和標準作業程序。

2. Python腳本開發:

• 撰寫高效的資料處理和清洗程式。
• 開發自動化資料處理流程。
• 建立可重複使用的資料處理模組。
• 優化程式效能和記憶體使用。

3. 資料品質控制:

• 設計資料驗證和檢查機制。
• 建立資料品質監控系統。
• 制定資料品質標準和指標。
• 產生資料品質報告和異常警報。

4.日常工作內容

• 70% - Python程式開發和資料清洗。
• 20% - 資料品質監控和問題排除 。
• 10% - 系統維護和技術支援。

---------------------------------------------------------

技能:
1.Python 專業能力 (核心要求)

• 2年以上Python開發經驗。
• 了解Python效能優化技巧。
• 了解正規表達式和字串處理。

2.資料處理技術:

• 資料清洗方法論和最佳實務。
• 了解異常值檢測。

3.資料庫基礎:

• PostgreSQL-基本操作和查詢。
• RabbitMQ-訊息處理概念。
• SQL資料查詢和簡單優化。

---------------------------------------------------------

工作經驗要求:

• 1-2年以上資料處理相關經驗。
• 具備大量資料清洗專案經驗。
• 熟悉資料品質管理流程。
• 有金融或資料處理經驗者優先。

技術環境:

• 主要開發語言：Python 3.8+。
• 開發工具：Jupyter Notebook, vscode 。
• 版本控制：Git。
• 作業系統：Linux/macOS

加分條件:
1.pandas進行資料操作和清洗有經驗佳。
2.numpy數值計算和陣列處理有經驗佳。
3.Dask大數據分散式處理有經驗佳。
4.Parquet 高效資料存儲格式有經驗佳。