Аналитик-разработчик по оценке качества LLM в Яндекс R&D
This position is no longer accepting applications (closed Oct 30, 2026).
See similar open jobs → Posted Updated 18
views
Summary
Analyst-developer who owns the quality-evaluation loop for Yandex's Alice LLM: prepares eval sets, runs model acceptance pipelines several times a week, tracks crowdsourced labeling to completion, and analyzes/statistically validates results into release verdicts for ML and product teams, while driving automation of the process. Core stack: Python, SQL, statistics.
Наша команда развивает качество Alice AI — ключевой LLM-технологии компании. Мы измеряем, как модель отвечает на реальные пользовательские запросы. Ищем аналитика-разработчика по оценке качества, который возьмёт на себя контур замеров: запуск приёмок, контроль прохождения разметки и анализ результатов.Организация приёмок новых версий моделей
В ваши обязанности войдёт подготовка оценочных наборов, постановка задач по всем аспектам качества, настройка и запуск пайплайнов оценки. Приёмки проходят несколько раз в неделю, они идут параллельно и зависят от дат релизов, поэтому очень важно их все контролировать. Контроль разметки
Замер действует неделю и проходит через несколько команд и пулов. Вам предстоит следить за его статусом, выявлять и устранять сбои, а также отслеживать недоставленные или потерянные данные. Нужно будет разбираться в причинах и доводить модель до работающего результата вместе с командой краудсорса и соседними командами. Это та часть работы, где аккуратность и въедливость дают больше всего. Сбор и анализ результатов
Вы будете сводить результаты всех аспектов в одну картину: считать значимость, отличать настоящее изменение от шума, объяснять расхождения между аспектами и между людьми и автоматическими оценщиками. По каждому релизу должно быть заключение с разбором сценариев и конкретными примерами; раз в неделю — сводка по всем замерам для ML-команд и продукта. Развитие процесса
Параллельно мы автоматизируем приёмку и строим под неё инструменты. Вы будете главным заказчиком и первым пользователем этой автоматизации: приносить требования, обкатывать новое и забирать себе те задачи, которые она освобождает. Больше об аналитике в Яндексе — в канале Yandex for Analytics* Уверенно работаете с Python и SQL * Знаете математическую статистику и теорию вероятностей * Доводите до конца многошаговые процессы с внешними зависимостями: чужие пайплайны, пулы разметки, сроки соседних команд * Умеете формулировать обоснованное заключение по данным и защищать его перед заказчиками * Самостоятельны и готовы браться за новые задачи, для которых нет готового решения * Интересуетесь развитием LLM и хотите глубоко погрузиться в тему* Проводили оценку качества LLM с использованием голден-сетов, LLM-as-a-Judge и контроля разметки * Работали на стыке офлайн-оценки и онлайн-экспериментов * Занимались оценкой агентских сценариев и мультимодальных моделей * Применяли NLP, краудсорсинговые разметки и ML
В ваши обязанности войдёт подготовка оценочных наборов, постановка задач по всем аспектам качества, настройка и запуск пайплайнов оценки. Приёмки проходят несколько раз в неделю, они идут параллельно и зависят от дат релизов, поэтому очень важно их все контролировать. Контроль разметки
Замер действует неделю и проходит через несколько команд и пулов. Вам предстоит следить за его статусом, выявлять и устранять сбои, а также отслеживать недоставленные или потерянные данные. Нужно будет разбираться в причинах и доводить модель до работающего результата вместе с командой краудсорса и соседними командами. Это та часть работы, где аккуратность и въедливость дают больше всего. Сбор и анализ результатов
Вы будете сводить результаты всех аспектов в одну картину: считать значимость, отличать настоящее изменение от шума, объяснять расхождения между аспектами и между людьми и автоматическими оценщиками. По каждому релизу должно быть заключение с разбором сценариев и конкретными примерами; раз в неделю — сводка по всем замерам для ML-команд и продукта. Развитие процесса
Параллельно мы автоматизируем приёмку и строим под неё инструменты. Вы будете главным заказчиком и первым пользователем этой автоматизации: приносить требования, обкатывать новое и забирать себе те задачи, которые она освобождает. Больше об аналитике в Яндексе — в канале Yandex for Analytics* Уверенно работаете с Python и SQL * Знаете математическую статистику и теорию вероятностей * Доводите до конца многошаговые процессы с внешними зависимостями: чужие пайплайны, пулы разметки, сроки соседних команд * Умеете формулировать обоснованное заключение по данным и защищать его перед заказчиками * Самостоятельны и готовы браться за новые задачи, для которых нет готового решения * Интересуетесь развитием LLM и хотите глубоко погрузиться в тему* Проводили оценку качества LLM с использованием голден-сетов, LLM-as-a-Judge и контроля разметки * Работали на стыке офлайн-оценки и онлайн-экспериментов * Занимались оценкой агентских сценариев и мультимодальных моделей * Применяли NLP, краудсорсинговые разметки и ML