Разработчик инфраструктуры метрик качества Поиска
Наше подразделение — одна из важнейших частей Поиска: от нас зависит работа поисковой строки с Алисой. Мы создаём системные решения, обдумываем методологию сбора данных на крауде, превращаем её в конкретные инструменты и отвечаем за скорость и качество сбора датасетов для ML.Внедрение генеративных моделей в разметку данных для сбора датасетов
Собрать корректные датасеты — важнейшая задача любого машинного обучения. Традиционный подход всегда состоял в том, чтобы делать это через крауд. И прямо сейчас в нашей области происходит тихая революция. Мы видим, что генеративные модели могут давать качество разметки, сравнимое с людьми, а иногда и лучше. Или как минимум — помогать людям в таких задачах. Активно внедрять модели, работать над методологией замера качества, отслеживать его на уровне конкретных разметок — вот примеры задач, которыми вам предстоит заниматься. Инфраструктура сложных обучений
По мере развития поиска и технологий постоянно растут требования к качеству, а как следствие — и к подходам, с помощью которых мы собираем данные на людях. Возникает инфраструктурная задача: как организовать такую разметку. С одной стороны, надо уметь поддерживать запуск с нуля разметки любой сложности и в самые короткие сроки. А с другой, наша обязанность — разрабатывать конкретные инструменты, чтобы лучше доносить до исполнителей, чего мы от них ждём. Это могут быть баннеры в заданиях, автоматические рассылки, инструменты для техподдержки, которая разбирает обращения. Архитектура разметок
До сих пор мы говорили про каждую разметку по отдельности, как лучше собрать её или улучшить качество. Но в Поиске есть уже десятки таких разметок. Они сильно отличаются по сложности, требуемым объёмам и SLA. Каждый отдельный заказ также может распасться на десяток подзаказов. Например, мы хотим, чтобы на вопросы про Python отвечали исполнители с опытом в программировании. Техническая сложность тут возникает из-за крайней инертности системы: эффект от изменения в приоритетах можно увидеть скорее в течение часов, чем минут или секунд, так как задания выполняют люди. Каждое усложнение системы разметок требует пересобрать систему управления разметками, чтобы максимально эффективно встроить новую сложную разметку в каскад старых.* Хорошо знаете Python* Знаете SQL * Работали с краудом, собирали датасеты * Знаете любой backend framework для Python: Flask, Django * На базовом уровне знаете математическую статистику Наличие даже одного пункта выше — нормально: мы не ожидаем, что вы знаете всё это.
Собрать корректные датасеты — важнейшая задача любого машинного обучения. Традиционный подход всегда состоял в том, чтобы делать это через крауд. И прямо сейчас в нашей области происходит тихая революция. Мы видим, что генеративные модели могут давать качество разметки, сравнимое с людьми, а иногда и лучше. Или как минимум — помогать людям в таких задачах. Активно внедрять модели, работать над методологией замера качества, отслеживать его на уровне конкретных разметок — вот примеры задач, которыми вам предстоит заниматься. Инфраструктура сложных обучений
По мере развития поиска и технологий постоянно растут требования к качеству, а как следствие — и к подходам, с помощью которых мы собираем данные на людях. Возникает инфраструктурная задача: как организовать такую разметку. С одной стороны, надо уметь поддерживать запуск с нуля разметки любой сложности и в самые короткие сроки. А с другой, наша обязанность — разрабатывать конкретные инструменты, чтобы лучше доносить до исполнителей, чего мы от них ждём. Это могут быть баннеры в заданиях, автоматические рассылки, инструменты для техподдержки, которая разбирает обращения. Архитектура разметок
До сих пор мы говорили про каждую разметку по отдельности, как лучше собрать её или улучшить качество. Но в Поиске есть уже десятки таких разметок. Они сильно отличаются по сложности, требуемым объёмам и SLA. Каждый отдельный заказ также может распасться на десяток подзаказов. Например, мы хотим, чтобы на вопросы про Python отвечали исполнители с опытом в программировании. Техническая сложность тут возникает из-за крайней инертности системы: эффект от изменения в приоритетах можно увидеть скорее в течение часов, чем минут или секунд, так как задания выполняют люди. Каждое усложнение системы разметок требует пересобрать систему управления разметками, чтобы максимально эффективно встроить новую сложную разметку в каскад старых.* Хорошо знаете Python* Знаете SQL * Работали с краудом, собирали датасеты * Знаете любой backend framework для Python: Flask, Django * На базовом уровне знаете математическую статистику Наличие даже одного пункта выше — нормально: мы не ожидаем, что вы знаете всё это.