Data Engineer
Summary
Build and maintain ETL/ELT pipelines in Hadoop/Spark to clean, transform, and load large datasets into data warehouses for client-centric product recommendations.
Перед нашей командой стоит амбициозная задача по реализации стратегии омниканального взаимодействия с клиентами в контексте продвижения продуктов Банка и Экосистемы. Цель – уйти от классических кампаний продаж и рекламы к клиентоцентричному взаимодействию. Мы хотим удовлетворять потребности клиента в комфортном для него режиме подходящими для его жизненной ситуации продуктами, а также минимизировать рекламное давление. Наш сложный и интересный проект находится на стыке бизнеса и ИТ. Ждем заряженных профессионалов, готовых создавать новый клиентский опыт!
Первый этап отбора на эту вакансию — общение с AI-рекрутером. После отклика ждите сообщение от него, диалог займёт примерно 10 минут. Задача AI-рекрутера — уточнить недостающие детали и ускорить рассмотрение вашей кандидатуры. AI-рекрутер только начинает свой путь, поэтому просим относиться с пониманием. Ваш опыт и участие помогут сделать его удобным и полезным для всех!* проектирование и разработка ETL/ELT потоков на базе Hadoop, SPARK
* сопровождение релиза по всему циклу и написание релизной документации
* загрузка, очистка и трансформация больших объемов данных из различных источников в рабочую область (платформы GreenPlum и Hadoop, Kafka)
* анализ данных по клиентам и кампаниям
* проведение исследований новых источников данных для улучшения качества персонализации предложений
* мониторинг и оптимизация процессов загрузки, преобразования данных и сборки витрин
* контроль качества загружаемых данных, разработка автоматизированных инструментов для оценки качества данных
* участие в анализе требований, оценке трудоёмкости задач и планировании релиза совместно с командой.* опыт работы в качестве Data Engineer / MLE от 1 года
* знание SQL на продвинутом уровне (аналитические функции, подзапросы, хранимые процедуры, оптимизация запросов)
* отличное знание Python/Scala и библиотеки pySpark
* знание основных понятий и концепций Data Warehousing и Big Data
* опыт разработки ETL-процессов
* опыт работы с большими объемами данных, построения хранилищ и витрин данных
* опыт работы со стеком технологий Big Data (Hadoop, Spark, Hive/Impala, Kafka)
* понимание принципов DevOps и опыт участия в процессах автоматизации сборки, тестирования и развёртывания
* ответственное отношение к выполнению задач, желание профессионально расти и развиваться.
Будет плюсом:
* навыки работы с генеративными AI-моделями
* опыт создания AI-агентов и использования их в работе будет преимуществом
* опыт использования GigaChat, Kandinsky и аналогов в продуктах, навыки создания и использования AI-агентов
* инструментальное владение AI для анализа, генерации и автоматизации.* офисный формат работы, адрес офиса Кутузовский пр. 32 к.1
* ежегодный пересмотр зарплаты, квартальная и годовая премия
* корпоративный спортзал и зоны отдыха
* более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
* программа адаптации и помощь руководителя на старте
* расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
* гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
* подписка Прайм с возможностью совместного использования на трёх близких
* вознаграждение за рекомендацию друзей в команду Сбера.