Разработчик бэкенда в Data Transfer
Summary
Develops and optimizes a real-time data transfer service using YDB Topics and YTsaurus, focusing on performance, reliability, and usability for large-scale data pipelines.
Наша команда делает сервис для поставки данных, который связывает реалтайм-потоки данных на базе YDB Topics и систему хранения и обработки больших данных YTsaurus. Мы ищем опытного и ответственного разработчика, который будет вместе с нами делать поставки быстрее, надёжнее и удобнее в использовании.Оптимизация производительности и инфраструктурные задачи
Из-за масштабов сервисов даже небольшие изменения дают заметный эффект на уровне всей компании. Вам предстоит работать и с горячими путями работающего кода (профилированием, снижением потребления CPU и памяти, ускорением критичных операций), и с архитектурными улучшениями (пересмотром компонентов, где текущий дизайн стал узким местом). Также нужно будет поддерживать баланс между скоростью переноса данных, их консистентностью и нагрузкой на источники и приёмники. Повышение качества и упрощение эксплуатации
Стабильность сервисов напрямую влияет на бизнес-процессы большинства продуктов Яндекса, включая денежные показатели. Ваша задача — усилить механизмы наблюдаемости, автоматизировать регламентные операции, снизить количество ручных действий при инцидентах, поднять покрытие тестами и учениями отказоустойчивости. Улучшение User Experience
Работаем над тем, чтобы сервисы были проще и доступнее — от понятных сообщений об ошибках и предсказуемого поведения API до документации, шаблонов и инструментов, которые снижают порог входа для новых пользователей. Работа над механизмом поставки exactly-once
Вам предстоит проработать и реализовать механизм, который обеспечит семантику поставки exactly-once для тех хранилищ, где она не поддерживается из коробки. Развитие сервиса Data Transfer
Вы поможете сервису Data Transfer эволюционировать в полноценный ETL-инструмент с возможностью потоковой обработки данных непосредственно в процессе их переноса. Больше о бэкенде в Яндексе — в канале Yandex for Backend* Разрабатывали и эксплуатировали сервисы в проде * Умеете и хотите писать код на С++ и Python * Интересуетесь областью работы с данными
Из-за масштабов сервисов даже небольшие изменения дают заметный эффект на уровне всей компании. Вам предстоит работать и с горячими путями работающего кода (профилированием, снижением потребления CPU и памяти, ускорением критичных операций), и с архитектурными улучшениями (пересмотром компонентов, где текущий дизайн стал узким местом). Также нужно будет поддерживать баланс между скоростью переноса данных, их консистентностью и нагрузкой на источники и приёмники. Повышение качества и упрощение эксплуатации
Стабильность сервисов напрямую влияет на бизнес-процессы большинства продуктов Яндекса, включая денежные показатели. Ваша задача — усилить механизмы наблюдаемости, автоматизировать регламентные операции, снизить количество ручных действий при инцидентах, поднять покрытие тестами и учениями отказоустойчивости. Улучшение User Experience
Работаем над тем, чтобы сервисы были проще и доступнее — от понятных сообщений об ошибках и предсказуемого поведения API до документации, шаблонов и инструментов, которые снижают порог входа для новых пользователей. Работа над механизмом поставки exactly-once
Вам предстоит проработать и реализовать механизм, который обеспечит семантику поставки exactly-once для тех хранилищ, где она не поддерживается из коробки. Развитие сервиса Data Transfer
Вы поможете сервису Data Transfer эволюционировать в полноценный ETL-инструмент с возможностью потоковой обработки данных непосредственно в процессе их переноса. Больше о бэкенде в Яндексе — в канале Yandex for Backend* Разрабатывали и эксплуатировали сервисы в проде * Умеете и хотите писать код на С++ и Python * Интересуетесь областью работы с данными