ML-аналитик в команду Вселенной ассистентов

Подзаголовок (короткое описание)

Ищем аналитика в команду, которая отвечает за качество персональных AI-ассистентов. Вы будете организовывать разметку качества и создавать систему оценки

Описание

Мы работаем над новыми продуктами — AI-ассистентами на базе LLM. Сердце всей экосистемы — General-ассистент. Это первая точка входа для пользователя: General отвечает на общие вопросы и перенаправляет на нужного ассистента, если задача специализированная.

Задача General-ассистента — понимать запрос и отвечать на общие вопросы с помощью знаний LLM и поиска. Если запрос относится к конкретной сфере — аккуратно маршрутизировать пользователя в соответствующий вертикальный навык: Шопинг, Путешествия и так далее. Запросы могут быть разными — от оформления загранпаспорта до подбора развивающих игр для детей.

Ассистент отвечает за единый стиль общения, качество базового опыта и целостность взаимодействия со всеми ассистентами.

Ищем ML-аналитика, который будет отвечать:
— за качество LLM-ассистента: понятность ответов, отсутствие галлюцинаций, корректный роутинг, единый тон общения;
— перевод качественных метрик в продуктовые: конверсию в сценарии, удержание, удовлетворенность, глубину использования, эффективность маршрутизации и так далее.

У нас новая команда без легаси-процессов: много экспериментов, быстрые прототипы, постоянная связь с продакт-менеджером и NLP-командой.

Ждем аналитика с насмотренностью в LLM-решениях, который будет с нами на одной волне и сможет привносить новые фичи в продукт.

Обязанности

Создавать и прокачивать систему оценки ассистента — от создания корзинок с запросами и разработки метрик до анализа результатов и добавления фич в продукт

Организовывать разметку качества руками краудсорсеров и строить автоматизированные пайплайны с LLM-as-a-Judge

Рассчитывать продуктовые метрики и организовывать регулярную отчетность по продукту

Искать инсайты в пользовательских диалогах, придумывать эксперименты и предлагать, как еще улучшить качество нашего продукта

Собирать данные для алаймента нашей языковой модели под задачи ассистентов

Требования

У вас есть опыт на границе продуктовой аналитики и Data Science: чат-боты, рекламные аукционы, поисковые системы, генеративные технологии

Владеете SQL и Python на уверенном уровне, в приоритете Pandas

Умеете писать хороший аналитический продакшен-код

Хотите работать с текстовыми данными в LLM-продуктах

Пользуетесь LLM в работе и жизни

Будут плюсом самостоятельные pet-проекты с ML- и LLM-агентами, понимание современных подходов к оценке LLM: LLM-as-a-Judge, инструкции для разметчиков, офлайн- и онлайн-эксперименты, human-in-the-loop

Мы предлагаем

Гибридный график и офис у метро «Белорусская», в котором есть все что нужно: Т-Клиника, салон красоты, фитнес-зоны, комнаты для сна и медитации. Если захочется поработать на свежем воздухе — терраса с панорамным видом

Возможность работы в аккредитованной ИТ-компании

ДМС со стоматологией, включая чекапы, компенсацию покупки лекарств и льготные условия страхования для близких. Еще — страховка от несчастных случаев и болезней

Рост по карьерному треку: проходите курсы по софт- и хард-скиллам, развивайтесь с поддержкой ментора и повышайте уровень с матрицей компетенций и регулярным ревью

Сильное комьюнити. Вы будете работать с экспертами в своей области, сможете делиться знаниями и выступать на конференциях, посещать митапы и писать статьи

Онлайн-консультации с психологами, юристами, специалистами по финансам и здоровому образу жизни

Компенсацию затрат на спортивные абонементы, приложение Т-Спорта для онлайн-занятий и командные тренировки с коллегами

Завтраки и обеды в Т-Кафе. В офисе есть ресторан и кофейни, на каждом этаже — кухня, где можно перекусить

3 дополнительных дня к отпуску — можно использовать для отдыха или получить компенсацию

Специальные тарифы на продукты Т-Банка и широкую программу скидок от партнеров

Достойную зарплату — обсудим ее на собеседовании