Аналитик-разработчик в команду метрик качества Поиска
Summary
Analyst-developer on Yandex Search's quality metrics team: researches user behavior to label session success, builds ML targets and the main acceptance metric for Search, including satisfaction metrics for commercial-intent slices and proxy metrics tied to business KPIs. Core stack is Python plus probability, statistics, and machine learning.
Мы разрабатываем собственные методы оценки качества, решаем сложные исследовательские задачи и внедряем современные инструменты, включая ИИ-агентов. Если хотите помогать сервисам постоянно улучшаться, присоединяйтесь к одной из сильнейших аналитических команд Яндекса.Создание системы метрик для выбора той или иной версии продукта
Мы смотрим на все действия пользователя и понимаем, когда задача в Поиске была решена успешно. Мы видим, насколько успешное решение было простым и удобным. В итоге получается разметка успешности сессий пользователя, по которой обучается ML-модель. Наша команда отвечает не только за таргет этой модели, но и за превращение предсказаний модели в конечную метрику — основную приёмочную метрику Поиска. Разработка метрик удовлетворённости пользователя на фокусных срезах
Мы уделяем большое внимание фокусным срезам. Если запрос коммерческий, то действия пользователя сильно отличаются от действий при информационных запросах. При этом нам гораздо сложнее понять, когда задача была решена, а когда нет. На помощь приходят сигналы покупок и добавления товара в корзину. Мы разделяем интент пользователя на информационный и покупочный и по-разному определяем успешность в зависимости от цели запроса. Построение прокси-метрики к заданной верхнеуровневой метрике
Приёмочная метрика должна не только локально отражать «счастье» пользователя, но и быть прокси-метрикой к таким бизнес-метрикам «счастья», как SpU в общем для Поиска и количество покупок пользователей на коммерческом срезе. Мы показываем, что локальная польза связана с долгосрочной, а также находим способы изменения метрик «счастья», чтобы эта связь усиливалась. Адаптация Поиска к ограничениям
На мобильных устройствах периодически включаются «белые списки». Мы, естественно, хотим показывать лучшие доступные ссылки даже в таких условиях. При этом нельзя просто отдать пользователю новую выдачу, состоящую из доступных документов, потому что пользователь будет упорно искать именно то, что он ожидал увидеть. Эти особенности пользовательского поведения нужно исследовать, и они превращают задачу в очень интересную для аналитики.* Программируете на Python * Любите математику * Владеете основами теории вероятностей и математической статистики * Умеете решать нестандартные математические задачи * Читаете и понимаете профильные тексты на английском языке * Способны спокойно и аргументированно отстаивать свою точку зрения и выслушивать чужую* Применяли машинное обучение * Победитель или призёр международных или всероссийских олимпиад по математике
Мы смотрим на все действия пользователя и понимаем, когда задача в Поиске была решена успешно. Мы видим, насколько успешное решение было простым и удобным. В итоге получается разметка успешности сессий пользователя, по которой обучается ML-модель. Наша команда отвечает не только за таргет этой модели, но и за превращение предсказаний модели в конечную метрику — основную приёмочную метрику Поиска. Разработка метрик удовлетворённости пользователя на фокусных срезах
Мы уделяем большое внимание фокусным срезам. Если запрос коммерческий, то действия пользователя сильно отличаются от действий при информационных запросах. При этом нам гораздо сложнее понять, когда задача была решена, а когда нет. На помощь приходят сигналы покупок и добавления товара в корзину. Мы разделяем интент пользователя на информационный и покупочный и по-разному определяем успешность в зависимости от цели запроса. Построение прокси-метрики к заданной верхнеуровневой метрике
Приёмочная метрика должна не только локально отражать «счастье» пользователя, но и быть прокси-метрикой к таким бизнес-метрикам «счастья», как SpU в общем для Поиска и количество покупок пользователей на коммерческом срезе. Мы показываем, что локальная польза связана с долгосрочной, а также находим способы изменения метрик «счастья», чтобы эта связь усиливалась. Адаптация Поиска к ограничениям
На мобильных устройствах периодически включаются «белые списки». Мы, естественно, хотим показывать лучшие доступные ссылки даже в таких условиях. При этом нельзя просто отдать пользователю новую выдачу, состоящую из доступных документов, потому что пользователь будет упорно искать именно то, что он ожидал увидеть. Эти особенности пользовательского поведения нужно исследовать, и они превращают задачу в очень интересную для аналитики.* Программируете на Python * Любите математику * Владеете основами теории вероятностей и математической статистики * Умеете решать нестандартные математические задачи * Читаете и понимаете профильные тексты на английском языке * Способны спокойно и аргументированно отстаивать свою точку зрения и выслушивать чужую* Применяли машинное обучение * Победитель или призёр международных или всероссийских олимпиад по математике