Data engineer
Summary
Build and optimize a massive data platform for a large bank, handling batch and real-time pipelines with Hadoop, Spark, Kafka, and Iceberg in a Lakehouse architecture.
Зарплата: до 480000 RUR (до вычета налогов)
Мы передовое ИТ подразделение, создающее дата платформу на сотни петобайт данных для крупшейнего юнита банка.
Нами реализована загрузка, обработка и контроль качетсва разрозненных данных из сотен систем-истоников банка в единое хранилище в Data Lakehouse архитектуре на платформе Hadoop.
Ищем сильных и энергичных дата инженеров для развития нашей платформы в сторону обработки данных в режимах батчевой и потоковой загрузки.
Вы будете работать в сильной команде дата инженеров с сложными инженерными задачами, передовым стеком технологий и самыми большими объемами данных в Европе.
Задачи разработки и поддержки витрин данных в Hadoop (HDFS, Icberg, Hive), ETL - Spark, CTL - Oozie, CI/CD - Jenkins + BitBucket.
И NRT пайплайны, Kafka, dynamic tables.
языки - Python, Java, Scala.
Обязанности
- разработка DWH/DataLake/LakeHouse
- построение поставки данных в Batch/NRT/RealTime
- оптимизация ETL
- повышение актуальности данных
- снижение latency доступа к данным
- разработка и валидация архитектуры данных
Требования
- отличное знание SQL (join, CTE, оконные функции, фреймы и др.)
- опыт работы с Hadoop, Spark, Iceberg/Paimon
- опыт работы с Kafka и др. Брокерами
- опыт работы с оркестраторами (например, Airflow) и CI/CD
- опыт построения архитектуры данных (например, Data Vault, Инман, Кимбалл и др.)
- опыт кратной оптимизации ETL
- практическое знание python на уровне разработки ETL будет преимуществом
- практическое знание java/scala будет преимуществом
- практический опыт создания и защиты архитектуры данных будет преимуществом
- практический опыт разработки solution-архитектуры data-продуктов будет преимуществом
Условия
- офисный формат работы (м Кутузовская ул. Поклонная 3)
- годовая премия
- корпоративный спортзал и зоны отдыха
- более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
- регулярные митапы и развитое DS-community
- расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
- гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
- подписка Прайм с возможностью совместного использования на трёх близких
- вознаграждение за рекомендацию друзей в команду Сбер.