Тимлид ML-команды генеративного агента поддержки в Yandex Crowd
Posted 8
views
Description
В Yandex Crowd мы создаём генеративного агента поддержки для продуктов Яндекса и ищем ML-тимлида, который возглавит эту работу. Откликайтесь, если руководили ML-командой от пяти человек и помогали сотрудникам развиваться и умеете строить RAG-пайплайны и агентов.Развитие архитектуры агента
Вы будете определять, как агент управляет контекстом, ищет информацию, вызывает инструменты и решает многошаговые задачи. Нужно будет внедрять лучшие подходы по работе с поиском по базе знаний, определению проблемы пользователя, long-term и short-term memory, обеспечивать высокое качество агента при минимальной скорости и стоимости. Построение оценки качества
Вам предстоит собирать бенчмарки, настраивать среду для симуляции и регрессионные проверки, оценивать результат работы агента по обращению, корректность действий и своевременность передачи диалога человеку. Также нужно будет сочетать программные проверки, LLM-судей и экспертную оценку, настраивать критерии проверок, мониторить качество в пилотах и на проде. Автоматизация улучшения агента
Вы будете превращать отобранные диалоги и исправления операторов в данные для обучения, новые критерии проверок и обновления базы знаний. Кроме того, предстоит настроить feedback loop для регулярного автоматического улучшения харнесса агента. Развитие автоматизированных исследований
Нужно будет создавать исследовательских агентов, которые анализируют ошибки, предлагают гипотезы и запускают воспроизводимые эксперименты с промптами, поиском, контекстом и моделями, а также доводить лучшие решения до продакшена и контролировать качество после запуска. Руководство ML-командой
Вам предстоит планировать работу, нанимать и развивать сотрудников, помогать решать сложные технические задачи и поддерживать обмен знаниями. Вместе с продуктовой командой вы будете определять приоритеты и участвовать в формировании AI-стратегии Crowd. Больше об ML в Яндексе — в канале Yandex for ML* Руководили ML-командой от пяти человек и помогали сотрудникам развиваться * Запускали ML-модели в продакшен и поддерживали их стабильную работу * Строили RAG-пайплайны и агентов, глубоко разбираетесь в современном NLP и DL * Уверенно владеете Python, разбираетесь в MLOps и умеете выстраивать CI/CD для ML * Проектируете решения целиком, умеете декомпозировать задачи и отвечать за сроки и качество * Готовы погружаться в продуктовые задачи, делиться знаниями и развивать инженерную культуру* Внедряли Spec-Driven Development в команде, имеете опыт AI-first-разработки * Обладаете опытом LLMOps, настройки внутреннего инференса для LLM/VLM
Вы будете определять, как агент управляет контекстом, ищет информацию, вызывает инструменты и решает многошаговые задачи. Нужно будет внедрять лучшие подходы по работе с поиском по базе знаний, определению проблемы пользователя, long-term и short-term memory, обеспечивать высокое качество агента при минимальной скорости и стоимости. Построение оценки качества
Вам предстоит собирать бенчмарки, настраивать среду для симуляции и регрессионные проверки, оценивать результат работы агента по обращению, корректность действий и своевременность передачи диалога человеку. Также нужно будет сочетать программные проверки, LLM-судей и экспертную оценку, настраивать критерии проверок, мониторить качество в пилотах и на проде. Автоматизация улучшения агента
Вы будете превращать отобранные диалоги и исправления операторов в данные для обучения, новые критерии проверок и обновления базы знаний. Кроме того, предстоит настроить feedback loop для регулярного автоматического улучшения харнесса агента. Развитие автоматизированных исследований
Нужно будет создавать исследовательских агентов, которые анализируют ошибки, предлагают гипотезы и запускают воспроизводимые эксперименты с промптами, поиском, контекстом и моделями, а также доводить лучшие решения до продакшена и контролировать качество после запуска. Руководство ML-командой
Вам предстоит планировать работу, нанимать и развивать сотрудников, помогать решать сложные технические задачи и поддерживать обмен знаниями. Вместе с продуктовой командой вы будете определять приоритеты и участвовать в формировании AI-стратегии Crowd. Больше об ML в Яндексе — в канале Yandex for ML* Руководили ML-командой от пяти человек и помогали сотрудникам развиваться * Запускали ML-модели в продакшен и поддерживали их стабильную работу * Строили RAG-пайплайны и агентов, глубоко разбираетесь в современном NLP и DL * Уверенно владеете Python, разбираетесь в MLOps и умеете выстраивать CI/CD для ML * Проектируете решения целиком, умеете декомпозировать задачи и отвечать за сроки и качество * Готовы погружаться в продуктовые задачи, делиться знаниями и развивать инженерную культуру* Внедряли Spec-Driven Development в команде, имеете опыт AI-first-разработки * Обладаете опытом LLMOps, настройки внутреннего инференса для LLM/VLM
