预训练算法工程师

职位描述

1. 参与数学或代码大模型预训练的研发工作，包括模型的预训练、对齐和评测等

2. 负责构建和优化数学或代码的预训练和对齐数据，提升模型在数学或代码任务上的效果

3. 探索针对数学或代码任务的数据合成方法，提升模型在数学或代码任务上的泛化能力

职位要求

1. 自然语言处理、机器学习等相关专业，硕士及以上学历；

2. 较强的算法开发能力，熟悉常用的机器学习、深度学习算法；

3. 熟练使用Pytorch、Huggingface、DeepSpeed等框架；

4. 对Transformer的架构有较为深入的理解，了解Transformer的各种变体，有相关的研究经验者优先；

加分项：

1. 在ACL，NeurIPS，ICLR，EMNLP等顶级会议或期刊上发表过论文者优先；

2. 熟悉并行训练框架，有多机多卡训练经验者优先；

3. 熟悉CUDA编程/Triton编程，有相关算子加速经验者优先；