Data engineer
Summary
Builds and maintains a petabyte-scale data lakehouse platform for Sberbank, handling batch/streaming data ingestion, ETL pipelines, and data quality controls using Hadoop, Spark, Kafka, and Iceberg/Paimon.
Мы передовое ИТ подразделение, создающее дата платформу на сотни петобайт данных для крупшейнего юнита банка.
Нами реализована загрузка, обработка и контроль качетсва разрозненных данных из сотен систем-истоников банка в единое хранилище в Data Lakehouse архитектуре на платформе Hadoop.
Ищем сильных и энергичных дата инженеров для развития нашей платформы в сторону обработки данных в режимах батчевой и потоковой загрузки.
Вы будете работать в сильной команде дата инженеров с сложными инженерными задачами, передовым стеком технологий и самыми большими объемами данных в Европе.
Задачи разработки и поддержки витрин данных в Hadoop (HDFS, Icberg, Hive), ETL - Spark, CTL - Oozie, CI/CD - Jenkins + BitBucket.
И NRT пайплайны, Kafka, dynamic tables.
языки - Python, Java, Scala.* разработка DWH/DataLake/LakeHouse
* построение поставки данных в Batch/NRT/RealTime
* оптимизация ETL
* повышение актуальности данных
* снижение latency доступа к данным
* разработка и валидация архитектуры данных* отличное знание SQL (join, CTE, оконные функции, фреймы и др.)
* опыт работы с Hadoop, Spark, Iceberg/Paimon
* опыт работы с Kafka и др. Брокерами
* опыт работы с оркестраторами (например, Airflow) и CI/CD
* опыт построения архитектуры данных (например, Data Vault, Инман, Кимбалл и др.)
* опыт кратной оптимизации ETL
* практическое знание python на уровне разработки ETL будет преимуществом
* практическое знание java/scala будет преимуществом
* практический опыт создания и защиты архитектуры данных будет преимуществом
* практический опыт разработки solution-архитектуры data-продуктов будет преимуществом* **офисный формат работы** (м Кутузовская ул. Поклонная 3)
* годовая премия
* корпоративный спортзал и зоны отдыха
* более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
* регулярные митапы и развитое DS-community
* расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
* гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
* подписка Прайм с возможностью совместного использования на трёх близких
* вознаграждение за рекомендацию друзей в команду Сбер.