Разработчик на С++ в группу разработки YQL over YT
YTsaurus — одна из ключевых систем Яндекса для хранения и обработки данных. Внутри YTsaurus есть поддержка SQL-диалектов, в том числе YQL. Ищем разработчика на С++, который будет развивать гибридный режим выполнения запросов, возможность настройки пользовательского кластера DQ, ускорять YQL over YT.Развитие гибридного режима выполнения запросов
Во время выполнения запроса объём данных часто уменьшается на каждом этапе — из-за фильтрации, пересечений и агрегаций. На определённом этапе использование MapReduce может стать избыточным. В таких случаях выгодно переключиться на выполнение оставшихся операций в движке DQ. Пользовательский кластер DQ
Пользовательская нагрузка может быть настолько разнообразной, что сложно подобрать универсальные параметры для работы движка. Мы хотим реализовать возможность настройки пользовательского кластера DQ под конкретные сценарии и профили нагрузки. Ускорение YQL over YT по бенчмаркам
YQL over YT в Яндексе работает на десятках тысяч машин и сотнях тысяч ядер. Нам важно постоянно искать точки для оптимизации исполнения запросов. Мы используем популярные бенчмарки для выявления возможностей улучшения производительности. Публикации и вклад в продукт
Ваши результаты могут стать основой для публикаций, докладов и выступлений на крупных конференциях, а коммиты будут попадать в общую кодовую базу YTsaurus. Больше о бэкенде в Яндексе — в канале Yandex for Backend
* Уверенно владеете C++ и готовы разрабатывать на нём высокопроизводительные системы * Понимаете, как анализировать производительность, находить узкие места, и готовы предлагать способы решения проблем * Знаете Python на уровне, достаточном для написания тестов* Имеете представление, как устроены СУБД, и участвовали в их разработке * Знаете один из диалектов SQL
Во время выполнения запроса объём данных часто уменьшается на каждом этапе — из-за фильтрации, пересечений и агрегаций. На определённом этапе использование MapReduce может стать избыточным. В таких случаях выгодно переключиться на выполнение оставшихся операций в движке DQ. Пользовательский кластер DQ
Пользовательская нагрузка может быть настолько разнообразной, что сложно подобрать универсальные параметры для работы движка. Мы хотим реализовать возможность настройки пользовательского кластера DQ под конкретные сценарии и профили нагрузки. Ускорение YQL over YT по бенчмаркам
YQL over YT в Яндексе работает на десятках тысяч машин и сотнях тысяч ядер. Нам важно постоянно искать точки для оптимизации исполнения запросов. Мы используем популярные бенчмарки для выявления возможностей улучшения производительности. Публикации и вклад в продукт
Ваши результаты могут стать основой для публикаций, докладов и выступлений на крупных конференциях, а коммиты будут попадать в общую кодовую базу YTsaurus. Больше о бэкенде в Яндексе — в канале Yandex for Backend
* Уверенно владеете C++ и готовы разрабатывать на нём высокопроизводительные системы * Понимаете, как анализировать производительность, находить узкие места, и готовы предлагать способы решения проблем * Знаете Python на уровне, достаточном для написания тестов* Имеете представление, как устроены СУБД, и участвовали в их разработке * Знаете один из диалектов SQL