Аналитик-разработчик в команду качества генеративных моделей
Summary
Join Yandex's Alisa AI team to evaluate and improve generative LLM quality. You'll develop model quality metrics with domain experts, analyze AI responses on complex topics, and build infrastructure to accelerate annotation and reduce manual work.
Мы развиваем Алису AI — систему моделей для построения ответов LLM с использованием поиска как источника информации и обогащений ответа. Внедрили её в Поиск Яндекса и Алису и учимся качественно отвечать на запросы, требующие специализированных знаний. Ищем аналитика-разработчика со знанием Python, SQL и матстатистики.Метрики качества
Вам предстоит разбираться, как устроены метрики качества модели, развивать их на экспертных срезах и помогать улучшать продукт. Вы будете напрямую работать с экспертами (практикующими специалистами в своей области), формализовать их знания и превращать их в разметку и понятные критерии оценки для модели. Аналитика генеративных ответов
Вместе с экспертами вы станете анализировать ответы модели на сложные темы, формулировать, что делает их полезными и точными для пользователя, и на основе этих выводов улучшать качество ответов. Разработка инфраструктуры
Вы будете создавать процессы и инструменты, которые снижают рутину для экспертов и ускоряют разметку: разбираться в инфраструктуре, предлагать улучшения и запускать новые пайплайны для более эффективной работы. Больше об аналитике в Яндексе — в канале Yandex for Analytics
* Уверенно работаете с Python и SQL * Знаете математическую статистику и теорию вероятностей * Умеете формализировать и структурировать требования и ожидания заказчиков * Самостоятельны и готовы браться за новые задачи, для которых нет готового решения * Способны спокойно и аргументированно отстаивать свою точку зрения и выслушивать чужую* Писали инструкции и самостоятельно запускали проекты разметки данных * Работали с машинным обучением и нейронными сетями * Умеете создавать точные и эффективные промпты для генеративных нейросетей
Вам предстоит разбираться, как устроены метрики качества модели, развивать их на экспертных срезах и помогать улучшать продукт. Вы будете напрямую работать с экспертами (практикующими специалистами в своей области), формализовать их знания и превращать их в разметку и понятные критерии оценки для модели. Аналитика генеративных ответов
Вместе с экспертами вы станете анализировать ответы модели на сложные темы, формулировать, что делает их полезными и точными для пользователя, и на основе этих выводов улучшать качество ответов. Разработка инфраструктуры
Вы будете создавать процессы и инструменты, которые снижают рутину для экспертов и ускоряют разметку: разбираться в инфраструктуре, предлагать улучшения и запускать новые пайплайны для более эффективной работы. Больше об аналитике в Яндексе — в канале Yandex for Analytics
* Уверенно работаете с Python и SQL * Знаете математическую статистику и теорию вероятностей * Умеете формализировать и структурировать требования и ожидания заказчиков * Самостоятельны и готовы браться за новые задачи, для которых нет готового решения * Способны спокойно и аргументированно отстаивать свою точку зрения и выслушивать чужую* Писали инструкции и самостоятельно запускали проекты разметки данных * Работали с машинным обучением и нейронными сетями * Умеете создавать точные и эффективные промпты для генеративных нейросетей