Skip to content
Search jobs inside your AI agent. Claude, ChatGPT, Claude Code, Codex, Gemini, Cursor and Grok
Connect

Yandex

NewBe an early applicant

Дата-аналитик

Posted Updated

Description

AI-продукту нужны точные критерии качества: насколько полезен ответ, справляется ли агент с задачей, что меняется для пользователя. Ищем аналитиков, которые превращают такие вопросы в исследования и выводы. Ждём, что вы имеете опыт в ML, понимаете устройство моделей и метрики их качества.Качество генеративных моделей — Yandex R&D
Предстоит оценивать достоверность и качество ответов генеративных моделей, разрабатывать метрики и подходы к оценке LLM, анализировать данные и координировать процесс разметки. Качество поиска — Поиск с Алисой AI
Вы будете оценивать, насколько хорошо работают ранжирование, быстрые ответы, ответы Алисы и другие AI-сценарии. Пользовательские и транзакционные сценарии — Независимый Ecom
Нужно будет исследовать работу агентов Алисы, качество органического ранжирования и путь пользователя в еком-сценариях. Чат и Моя Память Алисы — Алиса и Умные устройства
Предстоит исследовать, как люди взаимодействуют с AI, и оценивать качество этих сценариев. Другое
Также у нас есть много других задач в разных командах. Почему здесь интересно: * Проверяем AI на сложных сценариях * Разрабатываем собственные бенчмарки: проверяем логику моделей, знание фактов, этичность, понимание контекста и реакцию на провокации * Используем AI в собственной работе * Внедряем LLM-агентов в аналитику: с их помощью ищем и быстрее обрабатываем данные, оптимизируем скрипты и находим инсайты на дашбордах * Видим эффект исследований в продукте * Ведём полный цикл анализа: выясняем, что ценно для пользователей, а после изменений измеряем их эффект. Связываем исследовательский вопрос с тем, как развивается продукт* Уверенно владеете Python и SQL или YQL, умеете самостоятельно работать с большими объёмами данных * Знаете теорию вероятностей, математическую статистику и методы проверки гипотез, умеете проектировать и интерпретировать A/B-тесты и офлайн-эксперименты * Занимались машинным обучением, понимаете устройство ML-моделей и метрики их качества * Умеете формализовать исследовательский вопрос, обосновать выбор метрик, проверить их валидность и объяснить аномалии * Самостоятельно проводили исследования полного цикла и готовили обоснованные выводы* Работали с LLM, оценкой качества генерации или другими AI-системами * Работали с большими объёмами событийных данных и текстовых логов * Работали с DWH, BI-инструментами, продуктовыми воронками или деревьями метрик * Проектировали офлайн-метрики, бенчмарки или системы оценки качества моделей и продуктов * Автоматизировали аналитические процессы, разрабатывали и поддерживали собственные инструменты или пайплайны Как выберем команду: Обсудим ваш опыт и интересы, проведём технические секции и встречи с подходящими командами. После успешного прохождения этапов обсудим предложение о работе.

Skills

Apply

See also