Аналитик-разработчик в LLM Блендер
Summary
Build and improve offline LLM-based relevance metrics for Yandex Search’s thematic blocks, design ranking benchmarks, and analyze ML model quality to directly impact production ranking.
В Поиске Яндекса, помимо ссылок на веб-страницы, есть тематические блоки: картинки, видео и др. Мы делаем офлайн-метрику, основанную на LLM-разметке релевантности тематических блоков запросам. Вам предстоит развивать её, решать важные продуктовые и аналитические задачи и вести сложные проекты.Улучшение офлайн-метрики ранжирования тематических блоков
Вы будете исследовать, формулировать и оцифровывать проблемы в метрике и итоговом ранжировании, придумывать и реализовывать способы исправления проблем. Результат напрямую влияет на продакшен, ведь офлайн-метрика — это таргет для модели ранжирования в Поиске. Сбор бенчмарка ранжирования
Офлайн-метрика замеряет качество поиска, но нужно замерять качество и самой метрики! Именно для этого нужен бенчмарк — набор эталонных оценок ранжирования. Его сбор — во многом продуктовая задача, ведь бенчмарк задаёт эталонное ранжирование. Построение и поддержка аналитических моделей в оценке качества Поиска
Команда офлайн-KPI-метрики отвечает не только за саму форму офлайн-метрики, но и за множество процессов офлайн-оценки качества поиска: приёмки новых ML-моделей ранжирования, сбор «корзин» (множества запросов для оценки качества поиска), сбор дашбордов мониторинга качества и получение по ним инсайтов о проблемных зонах и методах их устранения. Потребуется решать множество важных продуктовых и аналитических вопросов и вести сложные проекты. Работа с офлайн-метриками всех компонентов выдачи
Выдача Яндекса состоит не только из ссылок на веб-страницы (так называемой органической выдачи), но и из рекламы, тематических блоков. Для каждого из этих компонентов тоже существует офлайн-сигнал. В перспективе вы будете отвечать за внедрение этих офлайн-сигналов в единую офлайн-метрику всей выдачи и улучшать как качество самих сигналов, так и процессы вокруг них. Больше об аналитике в Яндексе — в канале Yandex for Analytics* Имеете опыт руководства или менторства в аналитике * Умеете выстраивать стабильные и прозрачные рабочие процессы * Обладаете глубокими знаниями математики* Обладаете знаниями в области машинного обучения, имеете опыт внедрения моделей * Участвовали и побеждали в олимпиадах по математике, физике, программированию * Читаете и понимаете профильные тексты на английском языке
Вы будете исследовать, формулировать и оцифровывать проблемы в метрике и итоговом ранжировании, придумывать и реализовывать способы исправления проблем. Результат напрямую влияет на продакшен, ведь офлайн-метрика — это таргет для модели ранжирования в Поиске. Сбор бенчмарка ранжирования
Офлайн-метрика замеряет качество поиска, но нужно замерять качество и самой метрики! Именно для этого нужен бенчмарк — набор эталонных оценок ранжирования. Его сбор — во многом продуктовая задача, ведь бенчмарк задаёт эталонное ранжирование. Построение и поддержка аналитических моделей в оценке качества Поиска
Команда офлайн-KPI-метрики отвечает не только за саму форму офлайн-метрики, но и за множество процессов офлайн-оценки качества поиска: приёмки новых ML-моделей ранжирования, сбор «корзин» (множества запросов для оценки качества поиска), сбор дашбордов мониторинга качества и получение по ним инсайтов о проблемных зонах и методах их устранения. Потребуется решать множество важных продуктовых и аналитических вопросов и вести сложные проекты. Работа с офлайн-метриками всех компонентов выдачи
Выдача Яндекса состоит не только из ссылок на веб-страницы (так называемой органической выдачи), но и из рекламы, тематических блоков. Для каждого из этих компонентов тоже существует офлайн-сигнал. В перспективе вы будете отвечать за внедрение этих офлайн-сигналов в единую офлайн-метрику всей выдачи и улучшать как качество самих сигналов, так и процессы вокруг них. Больше об аналитике в Яндексе — в канале Yandex for Analytics* Имеете опыт руководства или менторства в аналитике * Умеете выстраивать стабильные и прозрачные рабочие процессы * Обладаете глубокими знаниями математики* Обладаете знаниями в области машинного обучения, имеете опыт внедрения моделей * Участвовали и побеждали в олимпиадах по математике, физике, программированию * Читаете и понимаете профильные тексты на английском языке