Аналитик-разработчик в команду ранжирования ответов Алисы
Summary
Analyst-developer on Yandex's team that ranks Alice's AI-generated answers in search. Day to day: designing and running experiments to improve ranking — building benchmarks, testing ranking signals, and shipping improvements end-to-end — using Python or SQL, probability/statistics, A/B testing, and ML evaluation.
Команда агентного ранжирования отвечает за качество ответов Алисы на вопросы в строке поиска Яндекса. Мы ищем аналитика-разработчика, который будет реализовывать сложные сетапы экспериментов по улучшению ранжирования и развивать систему метрик качества. Ждём, что вы уверенно работаете с Python или SQL.Придумывать и проверять способы улучшения ранжирования
Вы будете реализовывать сложные сетапы экспериментов по улучшению ранжирования — от подбора промптов до создания бенчмарков и замеров качества. Находить сигналы, которые делают ответы лучше
Вам предстоит подбирать и тестировать сигналы для включения в новую функцию ранжирования: описывать, как должен выглядеть сигнал, создавать бенчмарк для оценки и добиваться роста скора. Доводить идеи до продакшена
Вы будете работать end-to-end: от идеи и гипотезы до реализации, замера на бенчмарках и выкатки. Развивать качество Yandex Search API
Вместе с командой вам предстоит развивать систему метрик качества инфоконтекстов и Yandex Search API. Принимать решения на основе экспериментов
Вы будете проводить A/B-тесты и эксперименты, анализировать результаты и на их основе принимать решения о дальнейшем развитии ранжирования.* Хорошо знаете теорию вероятностей и математическую статистику — понимаете, как устроены эксперименты, умеете формулировать и проверять гипотезы, интерпретировать результаты A/B-тестов и бенчмарков * Уверенно работаете с Python или SQL — самостоятельно берёте данные, проводите анализ, строите необходимые расчёты и делаете выводы * Решаете нестандартные задачи — умеете выстраивать рассуждение с нуля, когда нет готового алгоритма или очевидного решения * Умеете превращать гипотезу в работающий эксперимент — можете сформулировать идею, определить, как её проверить, подобрать метрики и бенчмарк, а затем довести решение до реализации и оценки результата * Интересуетесь ML и генеративными моделями — понимаете базовые принципы работы современных ML-систем и хотите разбираться в том, как оценивать и улучшать их качество* Работали с большими объёмами данных
Вы будете реализовывать сложные сетапы экспериментов по улучшению ранжирования — от подбора промптов до создания бенчмарков и замеров качества. Находить сигналы, которые делают ответы лучше
Вам предстоит подбирать и тестировать сигналы для включения в новую функцию ранжирования: описывать, как должен выглядеть сигнал, создавать бенчмарк для оценки и добиваться роста скора. Доводить идеи до продакшена
Вы будете работать end-to-end: от идеи и гипотезы до реализации, замера на бенчмарках и выкатки. Развивать качество Yandex Search API
Вместе с командой вам предстоит развивать систему метрик качества инфоконтекстов и Yandex Search API. Принимать решения на основе экспериментов
Вы будете проводить A/B-тесты и эксперименты, анализировать результаты и на их основе принимать решения о дальнейшем развитии ранжирования.* Хорошо знаете теорию вероятностей и математическую статистику — понимаете, как устроены эксперименты, умеете формулировать и проверять гипотезы, интерпретировать результаты A/B-тестов и бенчмарков * Уверенно работаете с Python или SQL — самостоятельно берёте данные, проводите анализ, строите необходимые расчёты и делаете выводы * Решаете нестандартные задачи — умеете выстраивать рассуждение с нуля, когда нет готового алгоритма или очевидного решения * Умеете превращать гипотезу в работающий эксперимент — можете сформулировать идею, определить, как её проверить, подобрать метрики и бенчмарк, а затем довести решение до реализации и оценки результата * Интересуетесь ML и генеративными моделями — понимаете базовые принципы работы современных ML-систем и хотите разбираться в том, как оценивать и улучшать их качество* Работали с большими объёмами данных