Инженер данных в DWH Лавки — RT/NRT и AI‑агенты
Summary
Инженер данных проектирует и развивает RT/NRT-поставки данных для AI-продуктов в DWH, обеспечивая скорость, полноту и надёжность данных для аналитики и операционных процессов.
Команда DWH Лавки работает над хранилищем, которое поддерживает аналитику и ключевые операционные процессы бизнеса. Нам требуется опытный инженер данных. Его задача — развить платформенную основу для AI‑продуктов, которые используют операционные и управленческие команды.Развитие поставок данных
Вы будете проектировать и развивать RT/NRT‑поставки данных для разных сценариев работы продуктовых команд — например, для жизненного цикла заказа, работы сотрудников, складских операций и отслеживания доступности товаров. При этом нужно тщательно продумать, как будут взаимодействовать оперативный и batch‑контуры, и подобрать архитектуру, которая обеспечит нужную скорость, полноту, стоимость и надёжность данных. Проектирование RT‑данных
Вам предстоит помогать системным аналитикам и продуктовым командам проектировать RT‑данные: подбирать источники и способы обработки, определять модель событий, контракты, требования к свежести и качеству данных, а также прорабатывать правила работы с запаздывающими событиями и предварительными результатами. Поиск возможностей по RT‑данным
Вам нужно будет искать новые способы работы с RT‑данными, разрабатывать универсальные подходы и помогать внутренним заказчикам разобраться, какие задачи можно решить с их помощью. При этом проектирование прикладных агентов и бизнес‑сценариев останется за продуктовыми командами. Инженерные задачи и развитие DWH
В ваши обязанности войдёт ведение инженерных задач: исследование процессов и источников данных, запуск решений в промышленную эксплуатацию, контролирование их работы и безопасное развитие DWH, который имеет большой граф зависимостей. Развитие AI‑агентов для DWH
Вы будете расширять возможности AI‑агентов в автономном DWH: предоставлять им качественный контекст и инструменты, устанавливать ограничения и проверки, оценивать результаты работы и превращать сложные случаи в новые сценарии автоматизации. Также вам предстоит работать с нетиповыми инцидентами — выявлять их системные причины и на этой основе создавать новые проверки, инструменты и возможности для агентов. Больше о разработке в Яндексе — в канале Yandex for Developers* Проектировали и поддерживали промышленные RT/NRT‑пайплайны, понимаете, чем их разработка и эксплуатация отличаются от batch‑обработки * Занимались разработкой в крупном DWH или распределённой платформе, понимаете, как безопасно менять процессы с большим графом зависимостей * Умеете проектировать надёжную обработку событийных данных с учётом задержек, повторной обработки и изменений источников * Уверенно владеете Python и SQL, понимаете принципы моделирования данных, качества, наблюдаемости и надёжной эксплуатации * Умеете превращать не до конца сформулированную бизнес‑задачу в модель данных и техническое решение, сравнивать архитектурные варианты, объяснять компромиссы и договариваться с владельцами источников * Уже используете AI‑агентов в инженерной работе и хотите развивать подход, в котором человек управляет целями, качеством и архитектурой, а значительную часть реализации и поддержки выполняют агенты * Готовы брать ответственность за результат поставки данных, а не только за написанный код* Имели глубокий практический опыт работы с Apache Flink * Практиковали построение lambda‑ или kappa‑архитектуры и объединение оперативного и batch‑контуров * Запускали новое платформенное направление или развивали внутренние data‑продукты * Практиковали проектирование data contracts и интеграцию нескольких продуктовых систем * Разрабатывали инструменты, контекст, проверки или evaluation‑процессы для инженерных AI‑агентов
Вы будете проектировать и развивать RT/NRT‑поставки данных для разных сценариев работы продуктовых команд — например, для жизненного цикла заказа, работы сотрудников, складских операций и отслеживания доступности товаров. При этом нужно тщательно продумать, как будут взаимодействовать оперативный и batch‑контуры, и подобрать архитектуру, которая обеспечит нужную скорость, полноту, стоимость и надёжность данных. Проектирование RT‑данных
Вам предстоит помогать системным аналитикам и продуктовым командам проектировать RT‑данные: подбирать источники и способы обработки, определять модель событий, контракты, требования к свежести и качеству данных, а также прорабатывать правила работы с запаздывающими событиями и предварительными результатами. Поиск возможностей по RT‑данным
Вам нужно будет искать новые способы работы с RT‑данными, разрабатывать универсальные подходы и помогать внутренним заказчикам разобраться, какие задачи можно решить с их помощью. При этом проектирование прикладных агентов и бизнес‑сценариев останется за продуктовыми командами. Инженерные задачи и развитие DWH
В ваши обязанности войдёт ведение инженерных задач: исследование процессов и источников данных, запуск решений в промышленную эксплуатацию, контролирование их работы и безопасное развитие DWH, который имеет большой граф зависимостей. Развитие AI‑агентов для DWH
Вы будете расширять возможности AI‑агентов в автономном DWH: предоставлять им качественный контекст и инструменты, устанавливать ограничения и проверки, оценивать результаты работы и превращать сложные случаи в новые сценарии автоматизации. Также вам предстоит работать с нетиповыми инцидентами — выявлять их системные причины и на этой основе создавать новые проверки, инструменты и возможности для агентов. Больше о разработке в Яндексе — в канале Yandex for Developers* Проектировали и поддерживали промышленные RT/NRT‑пайплайны, понимаете, чем их разработка и эксплуатация отличаются от batch‑обработки * Занимались разработкой в крупном DWH или распределённой платформе, понимаете, как безопасно менять процессы с большим графом зависимостей * Умеете проектировать надёжную обработку событийных данных с учётом задержек, повторной обработки и изменений источников * Уверенно владеете Python и SQL, понимаете принципы моделирования данных, качества, наблюдаемости и надёжной эксплуатации * Умеете превращать не до конца сформулированную бизнес‑задачу в модель данных и техническое решение, сравнивать архитектурные варианты, объяснять компромиссы и договариваться с владельцами источников * Уже используете AI‑агентов в инженерной работе и хотите развивать подход, в котором человек управляет целями, качеством и архитектурой, а значительную часть реализации и поддержки выполняют агенты * Готовы брать ответственность за результат поставки данных, а не только за написанный код* Имели глубокий практический опыт работы с Apache Flink * Практиковали построение lambda‑ или kappa‑архитектуры и объединение оперативного и batch‑контуров * Запускали новое платформенное направление или развивали внутренние data‑продукты * Практиковали проектирование data contracts и интеграцию нескольких продуктовых систем * Разрабатывали инструменты, контекст, проверки или evaluation‑процессы для инженерных AI‑агентов