Старший DL-инженер
Summary
Develop multimodal deep learning models (text, images, video, audio) for VK's core products like recommendations, search, and ads. Work with architectures such as BERT, CLIP, and GPT, then deploy models into production using PyTorch Lightning, Triton, and TensorRT.
AI VK — подразделение экспериментальных технологий, которое решает широкий спектр ML- и DL-задач в VK. Наша цель — находить решения в индустрии и внедрять их в продукты. Мы анализируем, как наши разработки можно переиспользовать и где применить, а затем масштабируем.
У нас есть успешные релизы мультимодальных контентных моделей и мультимодальных LLM для core-продуктов (рекомендации, поиск, реклама). Расширяем штат, чтобы решать основные и смежные задачи.
Главная цель — глубокая интерпретация контента (эмбеддинги и предсказание таргетов) с использованием различных архитектур (BERT, CLIP и GPT) всех модальностей:
- Текст
- Изображения и видео
- Аудио и речь
- OCR и другие
Стек: PyTorch Lightning, YTsaurus, YQL, Triton, TensorRT, Verl, VLLM.
Задачи
- Сбор данных, определение таргетов: работа с разметчиками и синтетическими материалами
- Разработка мультимодальных моделей
- Проведение экспериментов с архитектурами энкодеров
- Оценка качества моделей и их интеграция в продуктовые механики
- Конвертация и деплой моделей
- Сопровождение релизов: A/B-тесты, мониторинг, версионирование
Требования
- Уверенное знание архитектур DL. NLP и CV — в приоритете
- Понимание концепций metric-learning
- Опыт сборки prod-like пайплайнов на PyTorch
- Знание SQL
Будет плюсом
- Опыт внедрения DL-моделей в продакшен
- Работа с retrieval-задачами
- Релевантные публикации и выступления на конференциях
- Целевое образование: ФПМИ, ФКН, ВМиК, ШАД