Разработчик на C++ в RuntimeNodes
Summary
Develops and optimizes C++ backends for LLM inference in Yandex Search, focusing on batch processing, GPU inference, and a custom DSL for ML pipelines.
Мы разрабатываем LLM-бэкенды для Поиска с Алисой и создаём платформу RuntimeNodes для описания ML-пайплайнов. Ищем разработчика на C++, который займётся оптимизацией батч-контура, развитием DSL и инференсом тяжёлых моделей на GPU. Ждём кандидатов с опытом разработки крупных сервисов.Максимизация пропускной способности батч-контура
Одна из возможностей DSL, используемого в рантайме, — контроль сетевого уровня. Это позволяет гибко управлять циклом выполнения приложения. Так мы решаем сложную задачу совмещения сценария ответов в реальном времени (уменьшение задержек, внешнее обеспечение достаточности ресурсов) и батч-контура (максимизация пропускной способности без «переливания» любой из частей системы при околобесконечном спросе и конечной аллокации ресурсов). Развитие платформы
Вы будете развивать DSL описания пайплайнов и сервиса их выполнения, анализировать потребности клиентов и продуктовые решения вместе с потребителями. Наша задача — иметь одновременно гибкую систему описания приложений и пренебрежимо малые накладные расходы, чтобы обеспечивать единую среду выполнения как для стадии прототипирования, так и для рантайма. Совмещение этих подходов требует глубокого понимания сценариев использования и профиля потребления ресурсов. Нужно будет заботиться о низкоуровневых оптимизациях и объёме перекладываемых байт, а также о пайплайнах данных и объёме сетевого взаимодействия, о гибкости и выразительности средств с достаточно сильной системой ограничений, чтобы однажды написанная логика правильно работала в очень разных контекстах. Инференс тяжёлых языковых генеративных моделей на GPU
Сердце LLM-продуктов — это непосредственное вычисление LLM-моделей. Вам предстоит решать задачи аллокации различных компонентов, настраивать их взаимодействие с LLM-моделями и релизные процессы, подбирать параметры для оптимизации. Больше о бэкенде в Яндексе — в канале Yandex for Backend* Разрабатывали большой сервис в команде * Разбираетесь в базовых алгоритмах и структурах данных * Хорошо знаете С++ * Знакомы с паттернами и идиомами построения программного обеспечения * Умеете писать надёжный и читаемый многопоточный код
Одна из возможностей DSL, используемого в рантайме, — контроль сетевого уровня. Это позволяет гибко управлять циклом выполнения приложения. Так мы решаем сложную задачу совмещения сценария ответов в реальном времени (уменьшение задержек, внешнее обеспечение достаточности ресурсов) и батч-контура (максимизация пропускной способности без «переливания» любой из частей системы при околобесконечном спросе и конечной аллокации ресурсов). Развитие платформы
Вы будете развивать DSL описания пайплайнов и сервиса их выполнения, анализировать потребности клиентов и продуктовые решения вместе с потребителями. Наша задача — иметь одновременно гибкую систему описания приложений и пренебрежимо малые накладные расходы, чтобы обеспечивать единую среду выполнения как для стадии прототипирования, так и для рантайма. Совмещение этих подходов требует глубокого понимания сценариев использования и профиля потребления ресурсов. Нужно будет заботиться о низкоуровневых оптимизациях и объёме перекладываемых байт, а также о пайплайнах данных и объёме сетевого взаимодействия, о гибкости и выразительности средств с достаточно сильной системой ограничений, чтобы однажды написанная логика правильно работала в очень разных контекстах. Инференс тяжёлых языковых генеративных моделей на GPU
Сердце LLM-продуктов — это непосредственное вычисление LLM-моделей. Вам предстоит решать задачи аллокации различных компонентов, настраивать их взаимодействие с LLM-моделями и релизные процессы, подбирать параметры для оптимизации. Больше о бэкенде в Яндексе — в канале Yandex for Backend* Разрабатывали большой сервис в команде * Разбираетесь в базовых алгоритмах и структурах данных * Хорошо знаете С++ * Знакомы с паттернами и идиомами построения программного обеспечения * Умеете писать надёжный и читаемый многопоточный код