Data engineer

Мы передовое ИТ подразделение, создающее дата платформу на сотни петобайт данных для крупшейнего юнита банка. Нами реализована загрузка, обработка и контроль качетсва разрозненных данных из сотен систем-истоников банка в единое хранилище в Data Lakehouse архитектуре на платформе Hadoop. Ищем сильных и энергичных дата инженеров для развития нашей платформы в сторону обработки данных в режимах батчевой и потоковой загрузки. Вы будете работать в сильной команде дата инженеров с сложными инженерными задачами, передовым стеком технологий и самыми большими объемами данных в Европе. Задачи разработки и поддержки витрин данных в Hadoop (HDFS, Icberg, Hive), ETL - Spark, CTL - Oozie, CI/CD - Jenkins + BitBucket. И NRT пайплайны, Kafka, dynamic tables. языки - Python, Java, Scala.* разработка DWH/DataLake/LakeHouse * построение поставки данных в Batch/NRT/RealTime * оптимизация ETL * повышение актуальности данных * снижение latency доступа к данным * разработка и валидация архитектуры данных* отличное знание SQL (join, CTE, оконные функции, фреймы и др.) * опыт работы с Hadoop, Spark, Iceberg/Paimon * опыт работы с Kafka и др. Брокерами * опыт работы с оркестраторами (например, Airflow) и CI/CD * опыт построения архитектуры данных (например, Data Vault, Инман, Кимбалл и др.) * опыт кратной оптимизации ETL * практическое знание python на уровне разработки ETL будет преимуществом * практическое знание java/scala будет преимуществом * практический опыт создания и защиты архитектуры данных будет преимуществом * практический опыт разработки solution-архитектуры data-продуктов будет преимуществом* **офисный формат работы** (м Кутузовская ул. Поклонная 3) * годовая премия * корпоративный спортзал и зоны отдыха * более 400 образовательных программ СберУниверситета для профессионального и карьерного развития * регулярные митапы и развитое DS-community * расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа * гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ * подписка Прайм с возможностью совместного использования на трёх близких * вознаграждение за рекомендацию друзей в команду Сбер.