ML-разработчик в команду претрейна VLA для гуманоидных роботов
Posted 8
views
Summary
ML developer on Yandex's humanoid robotics team, developing and pretraining Vision-Language-Action models for robot manipulation: running research experiments, curating robot/multimodal training data with QA pipelines, and scaling multi-GPU distributed training. Core stack includes Python, PyTorch/JAX, FSDP/DeepSpeed, and transformer-based generative models.
Мы разрабатываем Vision-Language-Action-модели для управления роботами. Ищем ML-разработчика, который будет развивать методы претрейна, проводить исследовательские эксперименты и доводить удачные решения до использования в основных обучающих запусках.Разработка и претрейн VLA-моделей
Вам предстоит разрабатывать и обучать VLA-модели для манипуляционных задач. Вы будете экспериментировать с архитектурами, представлениями наблюдений и действий, функциями потерь и методами объединения модальностей, улучшать перенос навыков на новые объекты, условия и робототехнические платформы. Работа с обучающими данными
Вы будете формировать смеси робототехнических и мультимодальных датасетов, настраивать семплирование и согласовывать данные роботов с разными сенсорами и пространствами действий. Предстоит оценивать влияние качества, объёма и состава данных на способности моделей и улучшать обучающие выборки. Разработка пайплайнов контроля качества данных
Вам предстоит автоматизировать проверку и очистку данных перед обучением: выявлять рассинхронизацию видео, состояний и действий, пропуски и зависания кадров, аномалии в траекториях. Вы будете развивать инструменты визуального разбора эпизодов, формировать отчёты о качестве, настраивать исправление, фильтрацию и маскирование проблемных фрагментов. Предстоит проверять ложные срабатывания и оценивать влияние очистки данных на качество моделей. Масштабирование и оптимизация распределённого обучения
Вам предстоит развивать распределённое обучение на нескольких GPU и узлах, повышать стабильность длительных запусков и эффективность использования ресурсов. Вместе с инфраструктурной командой вы будете профилировать обучение и устранять узкие места в вычислениях, коммуникациях и загрузке данных. Исследования и оценка качества моделей
Нужно будет формулировать и проверять исследовательские гипотезы, воспроизводить подходы из статей и проводить абляционные эксперименты. Вместе с командой робототехники вы будете проверять модели на реальных роботах, анализировать ошибки и использовать результаты для улучшения претрейна. Больше об ML в Яндексе — в канале Yandex for ML* Разрабатывали и обучали трансформерные или генеративные модели в одном или нескольких направлениях: мультимодальное обучение, Computer Vision, NLP, генерация видео или Robot Learning * Хорошо понимаете основы глубинного обучения, устройство трансформеров и методы оптимизации, умеете разбираться в причинах нестабильного обучения и ухудшения качества моделей * Уверенно программируете на Python, работаете с PyTorch или JAX, умеете писать поддерживаемый обучающий код и разбираться в существующем * Имеете опыт распределённого обучения с FSDP, DeepSpeed или аналогичными инструментами, понимаете принципы параллелизма данных и шардинга, умеете диагностировать проблемы производительности, потребления памяти и стабильности запусков * Работали с большими датасетами и пайплайнами их подготовки, понимаете влияние качества данных, семплирования и организации загрузки на обучение * Умеете самостоятельно ставить эксперименты, выбирать метрики, обеспечивать воспроизводимость результатов и аргументировать технические решения* Работали с VLA, Imitation Learning, Behavior Cloning или обучали политики на данных разных робототехнических платформ * Обучали диффузионные или flow-matching-модели, генеративные модели изображений и видео * Оптимизировали многоузловое обучение: профилировали GPU и коммуникации, подбирали стратегии параллелизма, работали с mixed precision, activation checkpointing, сохранением и восстановлением состояния обучения * Разрабатывали пайплайны автоматического контроля качества данных, инструменты визуализации и поиска аномалий в видео и временных рядах * Внедряли обученные политики на реальных роботах и оценивали качество выполнения задач * Имеете исследовательские публикации, участвуете в опенсорс-проектах или можете рассказать о собственных проектах с воспроизводимыми результатами
Вам предстоит разрабатывать и обучать VLA-модели для манипуляционных задач. Вы будете экспериментировать с архитектурами, представлениями наблюдений и действий, функциями потерь и методами объединения модальностей, улучшать перенос навыков на новые объекты, условия и робототехнические платформы. Работа с обучающими данными
Вы будете формировать смеси робототехнических и мультимодальных датасетов, настраивать семплирование и согласовывать данные роботов с разными сенсорами и пространствами действий. Предстоит оценивать влияние качества, объёма и состава данных на способности моделей и улучшать обучающие выборки. Разработка пайплайнов контроля качества данных
Вам предстоит автоматизировать проверку и очистку данных перед обучением: выявлять рассинхронизацию видео, состояний и действий, пропуски и зависания кадров, аномалии в траекториях. Вы будете развивать инструменты визуального разбора эпизодов, формировать отчёты о качестве, настраивать исправление, фильтрацию и маскирование проблемных фрагментов. Предстоит проверять ложные срабатывания и оценивать влияние очистки данных на качество моделей. Масштабирование и оптимизация распределённого обучения
Вам предстоит развивать распределённое обучение на нескольких GPU и узлах, повышать стабильность длительных запусков и эффективность использования ресурсов. Вместе с инфраструктурной командой вы будете профилировать обучение и устранять узкие места в вычислениях, коммуникациях и загрузке данных. Исследования и оценка качества моделей
Нужно будет формулировать и проверять исследовательские гипотезы, воспроизводить подходы из статей и проводить абляционные эксперименты. Вместе с командой робототехники вы будете проверять модели на реальных роботах, анализировать ошибки и использовать результаты для улучшения претрейна. Больше об ML в Яндексе — в канале Yandex for ML* Разрабатывали и обучали трансформерные или генеративные модели в одном или нескольких направлениях: мультимодальное обучение, Computer Vision, NLP, генерация видео или Robot Learning * Хорошо понимаете основы глубинного обучения, устройство трансформеров и методы оптимизации, умеете разбираться в причинах нестабильного обучения и ухудшения качества моделей * Уверенно программируете на Python, работаете с PyTorch или JAX, умеете писать поддерживаемый обучающий код и разбираться в существующем * Имеете опыт распределённого обучения с FSDP, DeepSpeed или аналогичными инструментами, понимаете принципы параллелизма данных и шардинга, умеете диагностировать проблемы производительности, потребления памяти и стабильности запусков * Работали с большими датасетами и пайплайнами их подготовки, понимаете влияние качества данных, семплирования и организации загрузки на обучение * Умеете самостоятельно ставить эксперименты, выбирать метрики, обеспечивать воспроизводимость результатов и аргументировать технические решения* Работали с VLA, Imitation Learning, Behavior Cloning или обучали политики на данных разных робототехнических платформ * Обучали диффузионные или flow-matching-модели, генеративные модели изображений и видео * Оптимизировали многоузловое обучение: профилировали GPU и коммуникации, подбирали стратегии параллелизма, работали с mixed precision, activation checkpointing, сохранением и восстановлением состояния обучения * Разрабатывали пайплайны автоматического контроля качества данных, инструменты визуализации и поиска аномалий в видео и временных рядах * Внедряли обученные политики на реальных роботах и оценивали качество выполнения задач * Имеете исследовательские публикации, участвуете в опенсорс-проектах или можете рассказать о собственных проектах с воспроизводимыми результатами