Аналитик в отдел аналитики и метрик Поиска
Summary
Analyzes and improves search response quality, including generative answers, using Python, SQL, and ML techniques to refine data labeling and model training pipelines.
Мы разрабатываем и анализируем сигнал, который помогает оценивать качество ответов Поиска, в том числе генеративных, привносить в него новые полезные свойства, задавать вектор его развития и непосредственно влиять на работу сервиса. Приходите, если умеете анализировать данные и знаете Python и SQL.Разработка критериев внедрения ML-разметки
Вы будете формулировать количественные и качественные критерии, по которым мы будем определять возможность перехода от ручной разметки к моделям в действующем проекте. В тех случаях, когда полностью отказаться от краудсорсинга не получится, нужно будет разрабатывать принципы и условия частичного перехода на модели. Внедрение LLM-разметки в пайплайны для обучения продакшен-моделей
Вам предстоит не только анализировать ML-разметку качества ответов, но и внедрять эту разметку в процессы обучения продакшен-моделей Поиска и Алисы в Поиске — для улучшения качества итогового продукта. Улучшение качества разметки ответов Поиска с помощью ML-разметки
Нужно будет искать точки роста в разметке и искать способы улучшить её, например за счёт более продвинутого использования внешней информации (RAG) или привлечения экспертов для разбора сложных случаев. Больше об аналитике в Яндексе — в канале Yandex for Analytics* Обладаете аналитическим складом ума и опытом работы с данными * Хорошо знаете Python и SQL для анализа и обработки данных * Понимаете принципы работы современных языковых моделей (LLM) * Умеете оценивать качество моделей машинного обучения и интерпретировать метрики * Способны ясно формулировать требования к инструментам и системам * Можете общаться в команде, ясно излагать мысли, понимать и убеждать коллег* Имеете опыт работы с крауд-платформами: Яндекс Заданиями, Толокой, MTurk или аналогами * Участвовали в разработке или настройке языковых моделей * Знакомы с промпт-инжинирингом для генеративных моделей * Работали в проектах по оптимизации процессов или сокращению расходов * Понимаете специфику разметки данных для поисковых систем
Вы будете формулировать количественные и качественные критерии, по которым мы будем определять возможность перехода от ручной разметки к моделям в действующем проекте. В тех случаях, когда полностью отказаться от краудсорсинга не получится, нужно будет разрабатывать принципы и условия частичного перехода на модели. Внедрение LLM-разметки в пайплайны для обучения продакшен-моделей
Вам предстоит не только анализировать ML-разметку качества ответов, но и внедрять эту разметку в процессы обучения продакшен-моделей Поиска и Алисы в Поиске — для улучшения качества итогового продукта. Улучшение качества разметки ответов Поиска с помощью ML-разметки
Нужно будет искать точки роста в разметке и искать способы улучшить её, например за счёт более продвинутого использования внешней информации (RAG) или привлечения экспертов для разбора сложных случаев. Больше об аналитике в Яндексе — в канале Yandex for Analytics* Обладаете аналитическим складом ума и опытом работы с данными * Хорошо знаете Python и SQL для анализа и обработки данных * Понимаете принципы работы современных языковых моделей (LLM) * Умеете оценивать качество моделей машинного обучения и интерпретировать метрики * Способны ясно формулировать требования к инструментам и системам * Можете общаться в команде, ясно излагать мысли, понимать и убеждать коллег* Имеете опыт работы с крауд-платформами: Яндекс Заданиями, Толокой, MTurk или аналогами * Участвовали в разработке или настройке языковых моделей * Знакомы с промпт-инжинирингом для генеративных моделей * Работали в проектах по оптимизации процессов или сокращению расходов * Понимаете специфику разметки данных для поисковых систем