Аналитик качества AI в Финтех
Posted 7
views
Description
Мы ищем аналитика, который будет вместе с нами повышать качество AI-сервисов и LLM-агентов в Яндекс Финтехе: определять критерии оценки, исследовать ошибки и проверять, становятся ли решения полезнее для пользователей. Приходите, если используете Python для анализа данных и пишете запросы на SQL.Развитие метрик качества
Вам предстоит определять, что означает хороший результат для разных AI-сценариев, и разрабатывать методы его измерения. Нужно будет учитывать точность, полноту и полезность ответов, а также корректность действий агентов и успешность решения пользовательской задачи. Подготовка данных и организация разметки
Вы будете собирать оценочные наборы из типичных запросов, сложных случаев и найденных ошибок. Вместе с экспертами — готовить инструкции для разметчиков, разбирать спорные оценки и проверять согласованность разметки. Важно, чтобы наборы отражали реальные сценарии использования и позволяли замечать существенные изменения качества. Оценка изменений и приёмка релизов
Вам предстоит сравнивать версии моделей, промптов и агентских сценариев, проверять статистическую значимость результатов и находить ухудшения на отдельных группах запросов. Результатом работы станут понятные выводы: что улучшилось, какие проблемы остались и что стоит исправить перед запуском. Исследование ошибок и проверка гипотез
Вы будете разбирать неудачные ответы и действия агентов, искать причины ошибок в модели, контексте, поиске информации или работе инструментов. На основе анализа — предлагать улучшения вместе с командой и проверять их эффект, сопоставляя результаты офлайн-оценки с поведением пользователей и продуктовыми метриками. Больше об аналитике в Яндексе — в канале Yandex for Analytics* Используете Python для анализа данных и автоматизации задач, пишете запросы на SQL * Понимаете методы математической статистики: можете выбрать способ сравнения и корректно интерпретировать эксперимент * Готовы исследовать текстовые данные, внимательно разбирать отдельные примеры и находить за ними системные проблемы * Интересуетесь AI-инструментами и LLM-моделями, хотите разбираться в причинах их ошибок
Вам предстоит определять, что означает хороший результат для разных AI-сценариев, и разрабатывать методы его измерения. Нужно будет учитывать точность, полноту и полезность ответов, а также корректность действий агентов и успешность решения пользовательской задачи. Подготовка данных и организация разметки
Вы будете собирать оценочные наборы из типичных запросов, сложных случаев и найденных ошибок. Вместе с экспертами — готовить инструкции для разметчиков, разбирать спорные оценки и проверять согласованность разметки. Важно, чтобы наборы отражали реальные сценарии использования и позволяли замечать существенные изменения качества. Оценка изменений и приёмка релизов
Вам предстоит сравнивать версии моделей, промптов и агентских сценариев, проверять статистическую значимость результатов и находить ухудшения на отдельных группах запросов. Результатом работы станут понятные выводы: что улучшилось, какие проблемы остались и что стоит исправить перед запуском. Исследование ошибок и проверка гипотез
Вы будете разбирать неудачные ответы и действия агентов, искать причины ошибок в модели, контексте, поиске информации или работе инструментов. На основе анализа — предлагать улучшения вместе с командой и проверять их эффект, сопоставляя результаты офлайн-оценки с поведением пользователей и продуктовыми метриками. Больше об аналитике в Яндексе — в канале Yandex for Analytics* Используете Python для анализа данных и автоматизации задач, пишете запросы на SQL * Понимаете методы математической статистики: можете выбрать способ сравнения и корректно интерпретировать эксперимент * Готовы исследовать текстовые данные, внимательно разбирать отдельные примеры и находить за ними системные проблемы * Интересуетесь AI-инструментами и LLM-моделями, хотите разбираться в причинах их ошибок
Skills
Sign in to read and join the discussion.