Техлид ML-инфраструктуры в Рекламные технологии
Мы строим систему замера эффекта — инфраструктуру, которая декомпозирует совокупный инкремент от всех рекомендаций на вклады отдельных продуктовых изменений. В основе системы — граф метрик. Ищем техлида ML-инфраструктуры, который превратит методологию в работающий пайплайн.Развитие инфраструктуры графа метрик
Вы будете работать с пайплайном оценки весов рёбер, реализовывать процедуры прямого и обратного прохода и настраивать систему валидации версий графа. Вам предстоит автоматизировать регулярные прогоны, следить за качеством связей и настраивать CI для релизов новых версий графа. Руководство разработкой
Нужно будет разбивать задачи по проектам — графу метрик, платформе экспериментов и техдолгу, проверять архитектурные решения, помогать новым разработчикам освоиться в команде и распределять рабочую нагрузку. Платформа экспериментов
Ваша задача — развивать модули pruning/winsoring и sanity checks, а также систему расчёта доказанного эффекта. Вам нужно поддерживать работу платформы, на которой запускаются сотни экспериментов. Инфраструктура и техдолг
Вы будете перемещать процессы между кластерами, поддерживать квоты и переносить код. Также вам нужно будет обеспечить стабильность пайплайнов и качество данных. Больше об ML в Яндексе — в канале Yandex for ML* Проектировали пайплайны обработки данных: Airflow, Luigi, Dagster или аналоги * Работали с MapReduce, Spark и большими объёмами данных * Руководили командой или выступали в роли ведущего разработчика с распределением задач * Владеете Python на высоком уровне и SQL — на уверенном * Понимаете, что такое А/Б-эксперименты, CUPED, регрессии — не как исследователь, а как инженер, способный реализовать методологию в коде * Уверенно владеете системами контроля версий (VCS: Git, Bitbucket) * Готовы разбираться в причинно следственном-выводе (causal inference) на инженерном уровне * Проактивны, ориентированы на результат, умеете доводить работу до прода* Работали с CI/CD для ML-пайплайнов * Работали с распределёнными вычислениями на больших кластерах * Знакомы с графовыми структурами данных * Знаете основы причинно-следственного анализа (DAG, backdoor, instrumental variables); базовой эконометрики будет достаточно — если что, разберёмся на лету
Вы будете работать с пайплайном оценки весов рёбер, реализовывать процедуры прямого и обратного прохода и настраивать систему валидации версий графа. Вам предстоит автоматизировать регулярные прогоны, следить за качеством связей и настраивать CI для релизов новых версий графа. Руководство разработкой
Нужно будет разбивать задачи по проектам — графу метрик, платформе экспериментов и техдолгу, проверять архитектурные решения, помогать новым разработчикам освоиться в команде и распределять рабочую нагрузку. Платформа экспериментов
Ваша задача — развивать модули pruning/winsoring и sanity checks, а также систему расчёта доказанного эффекта. Вам нужно поддерживать работу платформы, на которой запускаются сотни экспериментов. Инфраструктура и техдолг
Вы будете перемещать процессы между кластерами, поддерживать квоты и переносить код. Также вам нужно будет обеспечить стабильность пайплайнов и качество данных. Больше об ML в Яндексе — в канале Yandex for ML* Проектировали пайплайны обработки данных: Airflow, Luigi, Dagster или аналоги * Работали с MapReduce, Spark и большими объёмами данных * Руководили командой или выступали в роли ведущего разработчика с распределением задач * Владеете Python на высоком уровне и SQL — на уверенном * Понимаете, что такое А/Б-эксперименты, CUPED, регрессии — не как исследователь, а как инженер, способный реализовать методологию в коде * Уверенно владеете системами контроля версий (VCS: Git, Bitbucket) * Готовы разбираться в причинно следственном-выводе (causal inference) на инженерном уровне * Проактивны, ориентированы на результат, умеете доводить работу до прода* Работали с CI/CD для ML-пайплайнов * Работали с распределёнными вычислениями на больших кластерах * Знакомы с графовыми структурами данных * Знаете основы причинно-следственного анализа (DAG, backdoor, instrumental variables); базовой эконометрики будет достаточно — если что, разберёмся на лету