ML-разработчик в команду генеративных технологий рекламы Яндекса
Posted 2
views
Summary
ML developer on Yandex Direct's generative ad-tech team: trains transformer classifiers to filter and fact-check AI-generated ad copy, feeds generation signals (e.g. uplift scores) into the ad ranking engine, and validates impact via A/B tests. Stack: Python, PyTorch, SQL, LLMs, RLHF-style fine-tuning.
В Яндекс Директе нейросети пишут рекламные объявления. Наша группа отвечает за их качество: обучает модели, которые находят ошибки в сгенерированных текстах, и доводит генерацию до рекламного движка. Ищем ML-разработчика, который будет развивать это вместе с нами.Обучение фильтрующих моделей
Чтобы до показа доходили только качественные сгенерированные объявления, мы обучаем фильтрующие модели: они находят выдуманные факты, подмену товара или услуги, неграмотные и нерелевантные тексты — и при этом не отсекают хорошие объявления. Вы будете развивать эти модели: собирать разметку с помощью асессоров и LLM, обучать трансформерные классификаторы, подбирать пороги под продуктовую задачу и проверять в A/B-экспериментах, какие ошибки действительно мешают пользователям и рекламодателям. Добавление информации о генерации в рекламный движок
Сгенерированные заголовки и тексты должны не просто пройти фильтры, но и правильно участвовать в отборе и ранжировании рекламы. Вам предстоит доводить новые сгенерированные элементы объявлений до рекламного движка: передавать в него информацию о генерации, например оценку аплифта от генерации в рантайме, учитывать её в ранжировании и прогнозе кликабельности, а затем в A/B-экспериментах проверять, что реклама стала эффективнее. Чтобы решение дошло до продакшена целиком, важно понимать, как устроен весь пайплайн ранжирования объявлений в движке, и уметь договариваться со смежными командами. Фактчекинг сгенерированных объявлений
Самая неприятная для пользователя и рекламодателя ошибка генерации — текст, который расходится с сайтом: не та цена, другие условия, обещание, которого нет на странице. Вы будете развивать фактчекинг — проверку того, что сгенерированное объявление соответствует данным рекламодателя и содержимому его сайта. Задача — пройти путь от сбора разметки до моделей, которые находят расхождения, и встроить их в контур качества, чтобы такие объявления не доходили до показа. Больше об ML в Яндексе — в канале Yandex for ML* Обучаете трансформерные модели для классификации текстов и доводите их до продакшена: выбираете метрики и пороги под продуктовую задачу, следите за качеством после выкатки * Хорошо знаете статистику и умеете анализировать данные: проектируете A/B-эксперименты, находите причины изменения метрик, понимаете бизнес-показатели рекламы — кликабельность, конверсию, выручку * Уверенно используете AI-агентов в повседневной работе: для написания кода, анализа данных и исследований * Пишете на Python, работаете с PyTorch и SQL, обрабатываете большие объёмы данных в распределённых системах * Самостоятельно ведёте задачу от гипотезы до эксперимента и выкатки в продакшен* Работали с дообучением генеративных моделей с подкреплением (RLHF, DPO, GRPO или похожие подходы) и с reward-моделями * Организовывали разметку данных — инструкции, подбор перекрытия, контроль качества — и применяли LLM для разметки и оценки текстов с проверкой того, насколько их оценки согласуются с человеческими * Занимались фактчекингом сгенерированных текстов — проверкой их соответствия источнику, например, с помощью NLI-моделей или retrieval * Знаете ранжирование или прогноз CTR * Понимаете, как устроены рекламные или поисковые продукты
Чтобы до показа доходили только качественные сгенерированные объявления, мы обучаем фильтрующие модели: они находят выдуманные факты, подмену товара или услуги, неграмотные и нерелевантные тексты — и при этом не отсекают хорошие объявления. Вы будете развивать эти модели: собирать разметку с помощью асессоров и LLM, обучать трансформерные классификаторы, подбирать пороги под продуктовую задачу и проверять в A/B-экспериментах, какие ошибки действительно мешают пользователям и рекламодателям. Добавление информации о генерации в рекламный движок
Сгенерированные заголовки и тексты должны не просто пройти фильтры, но и правильно участвовать в отборе и ранжировании рекламы. Вам предстоит доводить новые сгенерированные элементы объявлений до рекламного движка: передавать в него информацию о генерации, например оценку аплифта от генерации в рантайме, учитывать её в ранжировании и прогнозе кликабельности, а затем в A/B-экспериментах проверять, что реклама стала эффективнее. Чтобы решение дошло до продакшена целиком, важно понимать, как устроен весь пайплайн ранжирования объявлений в движке, и уметь договариваться со смежными командами. Фактчекинг сгенерированных объявлений
Самая неприятная для пользователя и рекламодателя ошибка генерации — текст, который расходится с сайтом: не та цена, другие условия, обещание, которого нет на странице. Вы будете развивать фактчекинг — проверку того, что сгенерированное объявление соответствует данным рекламодателя и содержимому его сайта. Задача — пройти путь от сбора разметки до моделей, которые находят расхождения, и встроить их в контур качества, чтобы такие объявления не доходили до показа. Больше об ML в Яндексе — в канале Yandex for ML* Обучаете трансформерные модели для классификации текстов и доводите их до продакшена: выбираете метрики и пороги под продуктовую задачу, следите за качеством после выкатки * Хорошо знаете статистику и умеете анализировать данные: проектируете A/B-эксперименты, находите причины изменения метрик, понимаете бизнес-показатели рекламы — кликабельность, конверсию, выручку * Уверенно используете AI-агентов в повседневной работе: для написания кода, анализа данных и исследований * Пишете на Python, работаете с PyTorch и SQL, обрабатываете большие объёмы данных в распределённых системах * Самостоятельно ведёте задачу от гипотезы до эксперимента и выкатки в продакшен* Работали с дообучением генеративных моделей с подкреплением (RLHF, DPO, GRPO или похожие подходы) и с reward-моделями * Организовывали разметку данных — инструкции, подбор перекрытия, контроль качества — и применяли LLM для разметки и оценки текстов с проверкой того, насколько их оценки согласуются с человеческими * Занимались фактчекингом сгенерированных текстов — проверкой их соответствия источнику, например, с помощью NLI-моделей или retrieval * Знаете ранжирование или прогноз CTR * Понимаете, как устроены рекламные или поисковые продукты