ML-разработчик в команду Alice AI Safety
Summary
ML-разработчик в команде безопасности Алисы (Yandex): собирает и размечает обучающие данные, валидирует и мониторит ML-модели в продакшене, а также разрабатывает и обучает LLM-модели и LLM-асессоров для автоматической оценки качества. Основной стек — Python, SQL, работа с промптами и генеративными моделями.
Мы живём в эпоху, когда качество ML-систем в наибольшей степени определяется данными. Поэтому значительная часть нашей работы — это сбор лёрна, валидация и приёмка моделей, мониторинг продакшена и оперативный поиск проблем. NLP-разработка
Чтобы умный ассистент действительно работал эффективно, ему нужны дополнительные ML-модели: они понимают намерения пользователя, определяют подходящий сценарий и запускают соответствующий механизм ответа. Поэтому мы разрабатываем, обучаем и поддерживаем целый набор LLM-моделей, регулярно обновляя их и добавляя новые сценарии взаимодействия. LLM-асессоры
Для подготовки лёрнов, приёмок и замера качества моделей нам приходится обрабатывать огромные массивы данных. Чтобы делать это быстро и эффективно, мы создаём LLM-асессоров — модели, которые размечают данные с человеческим (а порой и более высоким) качеством, но работают значительно быстрее и стоят дешевле. Больше об ML в Яндексе — в канале Yandex for ML* Работали с задачами машинного обучения и LLM-моделями * Умеете разрабатывать и оптимизировать промпты * Уверенно владеете Python и SQL * Готовы работать с данными вручную, разбираться в устройстве и логике разрабатываемых моделей * В высокой степени самостоятельны и готовы брать на себя новые, нетривиальные задачи, для которых ещё не существует готовых решений