Аналитик-разработчик для оценки качества моделей в Alice AI
Posted 12
views
Summary
Analyst-developer on Yandex's Alice team doing offline quality evaluation of large language models: running query sets through internal evaluation tools, maintaining and fixing evaluation infrastructure, investigating new models' behavior and data formats, and improving the evaluation process.
Наша команда занимается офлайн-оценкой больших языковых моделей. Мы ищем аналитика-разработчика для оценки качества моделей. Откликайтесь, если готовы оперативно разбираться в большом количестве незнакомых инструментов и данных и можете самостоятельно запускать и поддерживать технические процессы.Прокачка моделей
Вам предстоит прокачивать наборы запросов через внутренние инструменты для оценки внутренних и внешних моделей. Поддержка инструментов оценки
Вы будете настраивать и запускать внутренние инструменты оценки моделей, находить причины сбоев и исправлять то, что мешает работе. Также нужно будет развивать надстройки над инфраструктурой прокачки, чтобы другие аналитики могли легко делать то же самое. Исследование новых моделей и данных
Вам нужно будет изучать особенности поведения новых моделей, разбирать непривычные данные и форматы логов. Здесь задачи меняются: вчера проблема была в данных Alice AI, сегодня — в странном формате ответа новой модели, завтра — в инструменте оценки. Предстоит быстро погружаться в малознакомую систему и находить причину проблемы. Помощь с улучшением процесса оценки
Замечать повторяющиеся ошибки, оформлять понятные баг-репорты и предлагать улучшения инструментов и процесса оценки — это также будет входить в ваши задачи. Больше об аналитике в Яндексе — в канале Yandex for Analytics* Готовы оперативно разбираться в большом количестве незнакомых инструментов, данных, логов * Можете самостоятельно запускать и поддерживать технические процессы * Умеете ясно описывать проблему, воспроизводить её и объяснять её суть коллегам* Работали с инструментами оценки моделей или качеством ответов AI-систем, слышали про v1/chat/completions, LLM-as-a-Judge * Автоматизировали процессы и поддерживали внутренние инструменты для работы с данными
Вам предстоит прокачивать наборы запросов через внутренние инструменты для оценки внутренних и внешних моделей. Поддержка инструментов оценки
Вы будете настраивать и запускать внутренние инструменты оценки моделей, находить причины сбоев и исправлять то, что мешает работе. Также нужно будет развивать надстройки над инфраструктурой прокачки, чтобы другие аналитики могли легко делать то же самое. Исследование новых моделей и данных
Вам нужно будет изучать особенности поведения новых моделей, разбирать непривычные данные и форматы логов. Здесь задачи меняются: вчера проблема была в данных Alice AI, сегодня — в странном формате ответа новой модели, завтра — в инструменте оценки. Предстоит быстро погружаться в малознакомую систему и находить причину проблемы. Помощь с улучшением процесса оценки
Замечать повторяющиеся ошибки, оформлять понятные баг-репорты и предлагать улучшения инструментов и процесса оценки — это также будет входить в ваши задачи. Больше об аналитике в Яндексе — в канале Yandex for Analytics* Готовы оперативно разбираться в большом количестве незнакомых инструментов, данных, логов * Можете самостоятельно запускать и поддерживать технические процессы * Умеете ясно описывать проблему, воспроизводить её и объяснять её суть коллегам* Работали с инструментами оценки моделей или качеством ответов AI-систем, слышали про v1/chat/completions, LLM-as-a-Judge * Автоматизировали процессы и поддерживали внутренние инструменты для работы с данными