NLP engineer в Алису
Наша команда учит Алису работать с реальными сервисами. Мы ищем инженера, который будет расширять функциональность и агентскую свободу действий Алисы, чтобы люди с её помощью решали рутинные и даже сложные задачи в несколько запросов. У нас широкий и разнообразный скоуп задач — будет интересно!Улучшать базовую самостоятельность модели
Продумывать масштабируемые модельные решения, методы оценки и ревардинга модели, подходы к агентности и интеграции с сервисами, а также улучшать качество ответов как таковое, включая человечность и, конечно же, красоту. Развивать и строить новые инструменты и подходы
Мы делаем ставку на самостоятельность модели в решении задач: LLM должна уметь использовать инструменты реактивности там, где это нужно, а где-то генерировать код, искать документы и извлекать информацию RAG-методами. Наша задача — сделать модель, которая будет работать в среде внутренних и внешних сервисов, источников, «как у себя дома». Интегрировать Алису с реальными сервисами
Разрабатывать новые коннекторы Почты, Диска, Календаря, трекеров задач и внешних API. Придумывать, как сделать так, чтобы взаимодействие модели с этими сервисами не просто работало, а решало задачу пользователя. Проектировать и улучшать воркфлоу- и агентные пайплайны
Строить многошаговые сценарии: планирование, декомпозиция задачи, вызов инструментов, проверка результата и корректировка курса — всё это должно работать надёжно и предсказуемо даже в нестандартных ситуациях. Разрабатывать системы оценки и ревардинга
Придумывать метрики, которые отражают реальную пользу, а не просто красивые цифры на бенчмарке. Строить reward-модели, запускать human-eval- и LLM-as-judge-эксперименты, закрывать петлю обратной связи. Тюнить и оптимизировать поведение модели
Анализировать ошибки и сбои на живом трафике, собирать целевые датасеты и итеративно улучшать модель с помощью SFT, DPO, RLHF и других методов. Находить баланс между общим качеством и точечными улучшениями под конкретные сценарии — так, чтобы Алиса становилась лучше с каждым релизом. Больше об ML в Яндексе — в канале Yandex for ML* Обладаете глубокими знаниями в deep learning и NLP * Работали с LLM и пайплайнами вокруг них * Интегрировали LLM или агентные решения в прод
Продумывать масштабируемые модельные решения, методы оценки и ревардинга модели, подходы к агентности и интеграции с сервисами, а также улучшать качество ответов как таковое, включая человечность и, конечно же, красоту. Развивать и строить новые инструменты и подходы
Мы делаем ставку на самостоятельность модели в решении задач: LLM должна уметь использовать инструменты реактивности там, где это нужно, а где-то генерировать код, искать документы и извлекать информацию RAG-методами. Наша задача — сделать модель, которая будет работать в среде внутренних и внешних сервисов, источников, «как у себя дома». Интегрировать Алису с реальными сервисами
Разрабатывать новые коннекторы Почты, Диска, Календаря, трекеров задач и внешних API. Придумывать, как сделать так, чтобы взаимодействие модели с этими сервисами не просто работало, а решало задачу пользователя. Проектировать и улучшать воркфлоу- и агентные пайплайны
Строить многошаговые сценарии: планирование, декомпозиция задачи, вызов инструментов, проверка результата и корректировка курса — всё это должно работать надёжно и предсказуемо даже в нестандартных ситуациях. Разрабатывать системы оценки и ревардинга
Придумывать метрики, которые отражают реальную пользу, а не просто красивые цифры на бенчмарке. Строить reward-модели, запускать human-eval- и LLM-as-judge-эксперименты, закрывать петлю обратной связи. Тюнить и оптимизировать поведение модели
Анализировать ошибки и сбои на живом трафике, собирать целевые датасеты и итеративно улучшать модель с помощью SFT, DPO, RLHF и других методов. Находить баланс между общим качеством и точечными улучшениями под конкретные сценарии — так, чтобы Алиса становилась лучше с каждым релизом. Больше об ML в Яндексе — в канале Yandex for ML* Обладаете глубокими знаниями в deep learning и NLP * Работали с LLM и пайплайнами вокруг них * Интегрировали LLM или агентные решения в прод