大模型 / 多模态模型架构研究工程师

岗位职责
-研究和优化 Attention、MoE、Expert Routing、模型层数、宽度、连接结构等。
-设计和实现 checkpoint 权重迁移、Model Surgery、Expert Pruning/Merging、Layer Mapping 等方案。
-通过 Continued Pretraining、Knowledge Distillation 等方式，使新架构快速继承原模型能力。
-修改和调试 Transformers、Megatron、DeepSpeed/FSDP 等大模型训练代码。
-评估新架构在模型效果、训练成本、推理速度、显存占用等方面的收益。

技能要求
-熟练掌握 PyTorch，能够独立修改大模型网络结构和 forward 逻辑。
-深入理解 Transformer、Attention、MoE、GQA/MLA、RoPE、RMSNorm 等模型结构。
-熟悉大模型 checkpoint、state_dict、参数初始化和权重转换。
-有大模型预训练或 Continued Pretraining 经验。
-熟悉 FSDP、DeepSpeed、Megatron 等至少一种分布式训练框架。
-能够独立完成“架构设计 → 权重迁移 → 训练 → 评测 → 分析”的完整实验流程。
-研究和优化 Vision Encoder、Vision Attention、Patch Embedding、Patch Merger / Projector 等视觉模型结构。
-研究 Image / Video Token Compression、Vision-Language Alignment 及多模态信息融合机制。
-基于已有多模态模型 checkpoint，对 Vision Encoder、Projector 及 Language Model 进行联合架构改造和权重迁移。
-研究如何在降低视觉 token 数量和多模态计算成本的同时，保持或提升 OCR、图像理解、视频理解等能力。

加分项
-有 7B/30B/100B+ 模型训练经验。
-有 MoE、Sparse Attention、Linear Attention 等架构研究经验。
-做过 Model Surgery、模型裁剪、Expert Merge、Knowledge Distillation。
-修改过 Transformers / Megatron 核心源码。
-熟悉 CUDA、Triton、FlashAttention 或大模型性能优化。
【我们希望你具备】
不仅会调用模型和做 Fine-tuning，而是能够真正深入到：
模型架构、参数权重和训练 Dynamics 层面，研究如何在最大程度复用已有 checkpoint 的基础上，开发更高效的新模型架构。