Middle/Senior NLP/PLP Researcher (GigaCode R&D)
Summary
Research and train state-of-the-art code-focused LLMs for IDE assistants, focusing on pretraining, fine-tuning, and agentic tool use while publishing open-source tools and datasets.
Мы — команда GigaCode, разрабатываем и развиваем AI-ассистента для разработчика. Целимся конкурировать с Copilot, Cursor, Windsurf и прочими инструментами.
Обучаем новые SOTA LLM по работе с кодом, как на уровне подсказок в IDE, так и на уровне редактирования целого проекта. Мы R&D команда, поэтому мы не только заимствуем лучшие решения из публикаций, но и ведем собственные исследования, публикуем статьи, open-source инструменты и датасеты.
Наши основные направления: претрейн кодовых моделей с нуля, пост-тренировка моделей (SFT/DPO/GRPO), обучение рассуждающих моделей, дообучение работе в агентном режиме и использованию инструментов, поиск в коде по текстовым запросам, ускорение инференса, дизайн бенчмарков, автоматическое создание датасетов проверяемых задач.
Обучаем модели на картах H100, на кластере Кристофари, у нас много свободы в использовании GPU.* дизайн экспериментов, формулировка гипотез для улучшения NLP/PLP моделей и алгоритмов, планирование исследовательских экспериментов с выводами
* проведение экспериментов, написание кода, подготовка датасетов и бенчмарков, проведение замеров и анализ результатов
* обучение моделей на кластере, включая обучение моделей с нуля и дообучение опенсорс моделей
* взаимодействие с прод-командой для интеграции моделей и алгоритмов в продакшн. Взаимодействуем с командой инженеров SberWorks
* ориентированность на SOTA, читать пейперы, быть в курсе последних исследований, предлагать новые смелые подходы и направления.* хорошие теоретические знания в DL, с упором в современный NLP и трансформеры
* умение формулировать эксперименты с научной строгостью, обосновывать их, проводить самостоятельно и делать выводы
* опыт обучения трансформеров
* опыт распределенного обучения моделей (deepspeed, fsdp, torch.distributed, accelerate)
* знание стандартных библиотек для DL и NLP (PyTorch и библиотеки Huggingface)
* увлеченность NLP/PLP и DL
* опыт менторинга стажеров и младших коллег.
**Будет плюсом:**
* опыт работы на похожей позиции
* участие в соревнованиях по ML
* сабмиты на лидербордах по NLP/PLP
* публикации уровня А/A\*, Q1
* обучение моделей на кластере
* опыт управления командой исследователей.* комфортный современный офис рядом с м. Кутузовская
* гибридный формат работы
* ежегодный пересмотр зарплаты, годовая премия
* корпоративный спортзал и зоны отдыха
* система обучения для профессионального и карьерного развития
* расширенный полис ДМС с первого дня работы и страхование для семьи
* программа ипотеки для сотрудников
* бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
* вознаграждение за рекомендацию друзей в команду Сбера.