Data Engineer (команда B2C-SQL)
Posted Updated 1
view
Summary
Data Engineer on Sberbank's B2C-SQL team, which builds the framework for batch and streaming data marts. Day to day: developing platform modules (orchestration, metadata, Data Quality) in Scala/Java, maintaining REST APIs, optimizing Spark jobs on large datasets, writing tests, and supporting internal platform users. Office-based in Moscow.
Команда занимается развитием фреймворка разработки витрин данных. В команде объединены экспертизы по DE, Software Engineering, анализу и архитектуре, DevOps, Backend и Frontend разработке. Работаем по Scrum, ценим высокий профессионализм, культуру общения и проактивность. В центр компетенций по Data Engineering мы ищем коллегу - Data Engineer.* разрабатывать и дорабатывать компоненты фреймворка для построения batch- и streaming-витрин
* реализовывать модули платформы (оркестрация, метаданные, Data Quality-фреймворк) на Scala/Java
* реализовывать и поддерживать API (включая RESTful), которые упрощают работу с данными для других команд
* участвовать в оптимизации производительности Spark-приложений на больших объемах данных
* покрывать код тестами и участвовать в code review
* взаимодействовать с пользователями платформы: разбирать обращения, помогать с интеграцией, собирать обратную связь* наличие высшего образования
* опыт коммерческой разработки в data engineering от 2-3 лет
* языки: уверенное знание Scala или Java, SQL; базовые навыки Bash
* Big Data: практический опыт разработки на Apache Spark
* данные: понимание DWH/Data Lake, ETL/ELT-процессов, SCD, подходов к Data Quality
* инжиниринг: понимание принципов SOLID и ООП, опыт написания unit- и integration-тестов, работа с Git
* умение самостоятельно доводить задачи до результата, аргументировать технические решения, работать в кросс-функциональной команде
**будет преимуществом:**
* опыт с Kafka, Flink, Iceberg или аналогами
* опыт с Hadoop-экосистемой (HDFS, YARN, Hive)
* опыт с ClickHouse, Kubernetes, S3
* знание Python
* навыки работы с генеративными AI-моделями* офисный формат в Москве (ул.Поклонная, 3)
* ежегодный пересмотр зарплаты и годовая премия
* расширенный ДМС и льготное страхование для семьи
* уникальная система обучения Сбера для профессионального и карьерного развития
* выгодная ипотека для сотрудников
* подписка Прайм с возможностью совместного использования на трёх близких
* вознаграждение за рекомендацию друзей в команду Сбера
* корпоративная пенсионная программа