大语言模型架构研究员（预训练方向）

职位描述：

1. 深度参与LLM的模型结构，包括MLP以及attention 模块改进，以及训练方法的设计，包括模型并行策略优化，优化算法改进，量化算法改进，目标损失函数改进等方向，目标是同时在模型训练以及大概规模推理效率上取得sota级别的领先水平

2. 深入调研如何设计科学的实验，利用scaling law验证模型设计，获取从头开始，端到端的大模型训练经验。

3. 良好的团队氛围，扁平化的沟通和管理，丰富的算力和计算资源。

职位要求：

1. 本科及以上学历，计算机、人工智能、自动化、数学专业优先

2. 扎实的编程基础，对数据结构、算法设计基础有深度了解，熟练使用pytorch或其他深度学习框架。

3. 有深度学习训练丰富实操以及参数调优经验。

4. 有LLM模型训练经验者优先

5. 有高性能计算经验者优先，有triton，cuda 等gpu kernel 编码经验优先

6. 有ACM/IOI/NOI/Top Coder等算法竞赛获奖经历优先

7. 在顶级学术会议上发表论文者优先，在机器学习、人工智能领域内获得过优异成绩者优先

8 责任心强，积极主动，有良好的沟通和合作能力