大型語言模型調校工程師(LLM Training & FT Engineer)_汐止

【工作內容】

• AI 系統與應用開發：設計與實作基於大語言模型（LLM）的智慧代理（AI Agent）、對話系統、企業知識問答及 AI 自動化工作流程。
• LLM 應用整合與優化：建立與優化 RAG（Retrieval-Augmented Generation）架構、Prompt Engineering、Agent Workflow 及 Context Management，提升模型回答品質與實際應用效果。
• LLM Training & Fine-tuning：負責開源大型語言模型之模型訓練與調校，依據不同業務需求進行 SFT（Supervised Fine-tuning）、LoRA / QLoRA、PEFT、DPO 等技術之導入與實作。
• 模型訓練資料處理：負責 LLM Training Dataset 的蒐集、清洗、轉換、去重與品質評估，建立 Instruction / Conversation Dataset，確保訓練資料品質及資料安全性。
• 模型評估與優化：建立 LLM Evaluation / Benchmark 機制，分析模型訓練結果，進行 Hyperparameter Tuning，並持續優化模型在特定領域之準確度、推理能力及指令遵循能力。
• LLM Training Infrastructure：使用 GPU Server / GPU Cluster 執行模型訓練與 Fine-tuning，並進行 GPU Memory、Training Throughput、Batch Size 及 Distributed Training 等效能優化。
• 模型部署與推論服務：將 LLM / Fine-tuned Model 部署至雲端或地端（On-Premise）Production Environment，建立自動化推論 API 服務，並針對模型推論效能、Latency、Throughput 與 Concurrent Requests 進行優化。
• LLM Inference Optimization：熟悉並實際應用 vLLM、SGLang 等推論框架，進行量化（Quantization）、Batching、KV Cache 及 Multi-GPU / Tensor Parallel 等推論效能調校。
• RAG 與向量資料庫：建立及維護 Embedding、Chunking、Retrieval、Reranking 等 RAG Pipeline，並管理 Milvus、Pinecone、Chroma 等向量資料庫。
• 資料處理與 AI Pipeline：進行資料收集、清洗、轉換與自動化處理，建立可重複執行的 AI / ML Data Pipeline，確保資料品質、隱私與安全性。
• 部署與維運：使用 Docker、CI/CD 及 Cloud / On-Premise Infrastructure 部署 AI 服務，建立 Logging、Monitoring、Performance Monitoring 與異常處理機制。
• 技術研究與評估：追蹤最新 Generative AI、LLM Training、Fine-tuning、Agent 及 AI Infrastructure 技術發展，評估開源及商業模型（如 OpenAI、Claude、Llama、Qwen、GPT-OSS 等），並導入實際應用。

*視專案性質，安排輪班維運。

【工作技能需求】
程式開發

• 精通 Python。
• 熟悉 FastAPI、Flask 等 API Framework。
• 熟悉 RESTful API、非同步處理（Async / Await）及後端服務開發。
• 熟悉 Git、Linux / Shell Script 等開發工具。

LLM / Generative AI

• 熟悉 Transformer、LLM 基本架構與推論原理。
• 熟悉 LLM Application 開發流程。
• 熟悉 Prompt Engineering、RAG、Embedding、Vector Search、Reranking 等技術。
• 熟悉 LangChain、LlamaIndex 或其他 LLM Application Framework。
• 熟悉 Agent / Tool Calling / Function Calling 等相關技術。

LLM Training / Fine-tuning

• 具備至少一種 LLM Fine-tuning 實務經驗：

o SFT（Supervised Fine-tuning）
o LoRA / QLoRA
o PEFT
o DPO

• 熟悉 Hugging Face Transformers、PEFT、TRL 等相關工具。
• 熟悉 Training Dataset 建立、資料清洗及資料品質評估。
• 具備 Model Evaluation / Benchmark 經驗。
• 了解 Learning Rate、Batch Size、Epoch、Gradient Accumulation、Sequence Length 等 Training Parameters。

GPU / Model Deployment

• 具備 NVIDIA GPU / CUDA 基礎概念。
• 具備 GPU Server 上執行 LLM Training / Inference 的經驗。
• 熟悉至少一種 LLM Inference Framework，例如 vLLM、SGLang、TGI。
• 具備模型量化（Quantization）或推論效能優化經驗者佳。
• 具備 Multi-GPU / Distributed Training 經驗者佳。
• 具備大型模型地端（On-Premise）部署與維運經驗者佳。

Vector Database / RAG

• 熟悉至少一種向量資料庫：

o Milvus
o Pinecone
o Chroma
o FAISS
o Elasticsearch / OpenSearch

• 了解 Embedding、Chunking、Hybrid Search、Reranking 等技術。

Cloud / Infrastructure

• 熟悉至少一種 Cloud Platform：

o AWS
o GCP
o Azure

• 熟悉 Docker 容器化技術。
• 熟悉 CI/CD、Linux Server 及基本 Cloud Infrastructure。
• 具備 Kubernetes 經驗者佳。