Аналитик-разработчик в команду еком-агентов Алисы
Summary
Analyst-Developer for Yandex's e-commerce agent team in Alice, working on finding product growth points, conducting AI-driven analytics using LLM, VLM, ML, and e-commerce infrastructure, and improving agent quality through experiments and data pipelines.
Еком-агенты помогают выбирать товары в чат-интерфейсе Алисы. Мы используем LLM, VLM, ML и еком-инфраструктуру Поиска. Ищем человека, который будет находить точки роста еком-агентов и доводить решения до продакшена. Вас ждёт AI-driven-аналитика, работа над современным продуктом и динамичная среда.Искать и реализовывать точки роста продукта
Вам предстоит разбираться, где и почему пользовательский сценарий работает недостаточно хорошо: агент не понял запрос, подобрал нерелевантные товары, не учёл важное ограничение, показал неподходящие предложения или не помог пользователю приблизиться к покупке. Нужно будет формулировать гипотезы, находить решения, проводить полный цикл экспериментов и доводить успешные изменения до продакшена. Мы ориентированы на практический результат: решения должны доходить до продакшена и заметно улучшать пользовательский опыт и продуктовые метрики. Развивать систему оценки качества еком-агентов
Вы будете проектировать и поддерживать автоматизированные eval-пайплайны, которые позволяют оценивать качество работы агентов: * создавать golden datasets для ключевых еком-сценариев; * формулировать критерии качества и инструкции для разметки; * строить пайплайны на основе LLM-as-a-judge; * автоматизировать разметку с помощью LLM; * организовывать и анализировать асессорскую разметку; * исследовать связь между офлайн-оценками, поведением пользователей и онлайн-метриками; * следить за тем, чтобы ответы агентов были полезными, точными и заслуживающими доверия. Работать с данными и моделями
Вам предстоит собирать датасеты, разбираться в логах пользовательских сценариев и событиях разных сервисов, решать проблемы качества данных и создавать воспроизводимые пайплайны обработки. В зависимости от задачи вы сможете использовать классические ML-модели, LLM, VLM и другие методы. Для нас важен не выбор технологии сам по себе, а измеримый результат для продукта. Развивать аналитическую систему
Вы будете поддерживать и развивать систему данных, на которой строится аналитика еком-агентов: витрины, метрики, документацию и инструменты для продуктовых исследований и экспериментов. Одно из важных направлений — делать хранилище понятным для AI-систем: развивать семантический контекст, метаданные, lineage, документацию и паттерны получения данных, необходимые агентам для корректной работы с аналитикой. Больше об аналитике в Яндексе — в канале Yandex for Analytics* Самостоятельно находили точки роста и улучшали продуктовые метрики * Уверенно владеете Python и SQL * Работали с большими объёмами событийных данных и логами разных сервисов * Работали с пайплайнами обработки данных и инструментами оркестрации, например Airflow * Умеете находить и исправлять проблемы качества данных * Понимаете принципы работы LLM-систем, AI-агентов и классического ML * Комфортно работаете с AI-assisted development tools и используете агентские coding-workflow, чтобы быстрее прототипировать и доводить решения до результата * Способны самостоятельно вести задачу от обнаружения проблемы и исследования данных до эксперимента, реализации и выкатки в продакшен * Автономны, проактивны, готовы отвечать за результат* Работали с A/B-экспериментами, LLM-as-a-judge, разметкой данных или оценкой качества генеративных моделей
Вам предстоит разбираться, где и почему пользовательский сценарий работает недостаточно хорошо: агент не понял запрос, подобрал нерелевантные товары, не учёл важное ограничение, показал неподходящие предложения или не помог пользователю приблизиться к покупке. Нужно будет формулировать гипотезы, находить решения, проводить полный цикл экспериментов и доводить успешные изменения до продакшена. Мы ориентированы на практический результат: решения должны доходить до продакшена и заметно улучшать пользовательский опыт и продуктовые метрики. Развивать систему оценки качества еком-агентов
Вы будете проектировать и поддерживать автоматизированные eval-пайплайны, которые позволяют оценивать качество работы агентов: * создавать golden datasets для ключевых еком-сценариев; * формулировать критерии качества и инструкции для разметки; * строить пайплайны на основе LLM-as-a-judge; * автоматизировать разметку с помощью LLM; * организовывать и анализировать асессорскую разметку; * исследовать связь между офлайн-оценками, поведением пользователей и онлайн-метриками; * следить за тем, чтобы ответы агентов были полезными, точными и заслуживающими доверия. Работать с данными и моделями
Вам предстоит собирать датасеты, разбираться в логах пользовательских сценариев и событиях разных сервисов, решать проблемы качества данных и создавать воспроизводимые пайплайны обработки. В зависимости от задачи вы сможете использовать классические ML-модели, LLM, VLM и другие методы. Для нас важен не выбор технологии сам по себе, а измеримый результат для продукта. Развивать аналитическую систему
Вы будете поддерживать и развивать систему данных, на которой строится аналитика еком-агентов: витрины, метрики, документацию и инструменты для продуктовых исследований и экспериментов. Одно из важных направлений — делать хранилище понятным для AI-систем: развивать семантический контекст, метаданные, lineage, документацию и паттерны получения данных, необходимые агентам для корректной работы с аналитикой. Больше об аналитике в Яндексе — в канале Yandex for Analytics* Самостоятельно находили точки роста и улучшали продуктовые метрики * Уверенно владеете Python и SQL * Работали с большими объёмами событийных данных и логами разных сервисов * Работали с пайплайнами обработки данных и инструментами оркестрации, например Airflow * Умеете находить и исправлять проблемы качества данных * Понимаете принципы работы LLM-систем, AI-агентов и классического ML * Комфортно работаете с AI-assisted development tools и используете агентские coding-workflow, чтобы быстрее прототипировать и доводить решения до результата * Способны самостоятельно вести задачу от обнаружения проблемы и исследования данных до эксперимента, реализации и выкатки в продакшен * Автономны, проактивны, готовы отвечать за результат* Работали с A/B-экспериментами, LLM-as-a-judge, разметкой данных или оценкой качества генеративных моделей