Data Platform Engineer (NRT/Spark)
Posted 4
views
Summary
Yandex's fintech unit seeks a data platform engineer to design and scale a cloud data platform: DWH observability and data lineage, faster near-real-time delivery via Spark Streaming/CDC, isolated test environments, and internal low-code data frameworks. Requires 4+ years commercial development, deep database expertise (PostgreSQL, Oracle, MongoDB, Greenplum), CDC and S3 experience.
Финтех в Яндексе — это экосистема финансовых сервисов, встроенная в повседневную жизнь миллионов пользователей и бизнесов. Мы ищем специалиста по Apache Spark с глубоким пониманием внутренней архитектуры фреймворка.Проектирование и развитие облачной дата-платформы
Мы готовимся к кратному росту объёмов обрабатываемых данных. Вы будете оптимизировать инфраструктуру и проектировать новые компоненты платформы с использованием облачных технологий Yandex Cloud. Построение единой observability-платформы для таблиц DWH
Мы обеспечиваем наблюдаемость и контролируемость процессов. Вам предстоит создать единую точку входа для мониторинга статусов сборки, качества данных и анализа зависимостей, включая построение datalineage и процессы логирования. Ускорение текущих процессов поставки данных
Наша задача — ускорить обработку растущих потоков данных. Вы будете оптимизировать существующие и выстраивать новые надёжные процессы поставки данных, включая процессы взятия снепшотов, загрузки инкрементов напрямую, из аудит-таблиц и CDC, а также внедрять Spark Streaming или аналогичные решения для обеспечения обновления данных с минимальной задержкой. Построение тестовых окружений
Мы выстраиваем среду безопасной разработки и повышаем надёжность разрабатываемых решений. В ваши задачи войдёт создание изолированных сред разработки, тестирования и предпрода с автоматизированными процессами проверки. Развитие фреймворков обработки данных
Для ускорения разработки мы создаём low-code-решения. Вам предстоит развивать внутренние фреймворки для загрузки, трансформации и контроля качества данных. Больше о разработке в Яндексе — в канале Yandex for Developers* Занимались коммерческой разработкой от четырёх лет * Глубоко понимаете устройство баз данных: оптимизация запросов, планы выполнения, партиционирование, шардирование и индексы * Владеете СУБД разного типа: PostgreSQL, Oracle, MongoDB, Greenplum * Имеете опыт работы с CDC (Change Data Capture): понимаете принципы и умеете реализовывать пайплайны * Уверенно работаете с S3-совместимыми хранилищами
Мы готовимся к кратному росту объёмов обрабатываемых данных. Вы будете оптимизировать инфраструктуру и проектировать новые компоненты платформы с использованием облачных технологий Yandex Cloud. Построение единой observability-платформы для таблиц DWH
Мы обеспечиваем наблюдаемость и контролируемость процессов. Вам предстоит создать единую точку входа для мониторинга статусов сборки, качества данных и анализа зависимостей, включая построение datalineage и процессы логирования. Ускорение текущих процессов поставки данных
Наша задача — ускорить обработку растущих потоков данных. Вы будете оптимизировать существующие и выстраивать новые надёжные процессы поставки данных, включая процессы взятия снепшотов, загрузки инкрементов напрямую, из аудит-таблиц и CDC, а также внедрять Spark Streaming или аналогичные решения для обеспечения обновления данных с минимальной задержкой. Построение тестовых окружений
Мы выстраиваем среду безопасной разработки и повышаем надёжность разрабатываемых решений. В ваши задачи войдёт создание изолированных сред разработки, тестирования и предпрода с автоматизированными процессами проверки. Развитие фреймворков обработки данных
Для ускорения разработки мы создаём low-code-решения. Вам предстоит развивать внутренние фреймворки для загрузки, трансформации и контроля качества данных. Больше о разработке в Яндексе — в канале Yandex for Developers* Занимались коммерческой разработкой от четырёх лет * Глубоко понимаете устройство баз данных: оптимизация запросов, планы выполнения, партиционирование, шардирование и индексы * Владеете СУБД разного типа: PostgreSQL, Oracle, MongoDB, Greenplum * Имеете опыт работы с CDC (Change Data Capture): понимаете принципы и умеете реализовывать пайплайны * Уверенно работаете с S3-совместимыми хранилищами