Senior Data Engineer
Posted Updated
Description
Мы развиваем корпоративную платформу данных и готовимся к масштабному технологическому обновлению - переходу на современную Lakehouse-архитектуру.
Ищем опытного Data Engineer, который хочет не только разрабатывать надёжные решения для обработки данных, но и влиять на архитектуру платформы, инженерные стандарты и подходы к разработке.
Впереди - миграция на новый технологический стек, развитие процессов Data Governance, повышение качества инженерных решений и совершенствование взаимодействия с командами-потребителями данных.* разработка, оптимизация и сопровождение надёжных ETL/ELT-пайплайнов для пакетной и потоковой обработки данных
* участие в проектировании и развитии архитектуры корпоративной платформы данных, включая переход на Lakehouse с использованием S3, Trino, Apache Iceberg и Apache Spark
* разработка технических решений для миграции существующих процессов обработки и хранения данных на новый технологический стек
* развитие процессов Data Governance: управление жизненным циклом данных, контроль качества, документирование, прозрачность происхождения данных (Data Lineage)
* участие в развитии инженерной экспертизы команды: обмен знаниями, обсуждение архитектурных решений, формирование единых технических подходов
* улучшение процессов взаимодействия со смежными подразделениями, участие в согласовании требований, технических решений и SLA.* опыт работы с реляционными и аналитическими СУБД, понимание принципов хранения, партиционирования и оптимизации данных
* уверенное владение Python или другим языком программирования, применяемым для обработки данных
* понимание принципов построения DWH, Data Lake и современных архитектур платформ данных
* опыт использования Git, CI/CD, code review и автоматизированного тестирования
* умение проектировать технические решения, оценивать их ограничения и аргументированно выбирать подходы к реализации
* самостоятельность в решении сложных инженерных задач, готовность брать ответственность за результат и взаимодействовать со смежными командами.
Будет плюсом
* практический опыт работы с Lakehouse-технологиями: Apache Iceberg, Trino, Spark, S3-совместимые объектные хранилища
* участие в миграции хранилищ данных или модернизации архитектуры дата-платформ
* опыт работы с Docker, Kubernetes и инфраструктурой распределённых систем
* практический опыт внедрения Data Governance, Data Quality, Data Catalog и Data Lineage
* опыт формирования инженерных стандартов, проведения технических ревью и улучшения процессов разработки
* опыт наставничества, обмена знаниями и развития инженерных компетенций коллег
* инструментальное владение AI для анализа, генерации и автоматизации.
Технологический стек
Текущий: PostgreSQL, ClickHouse, Apache NiFi, Qlik Sense.
Целевой: S3, Trino, Apache Iceberg, Apache Spark, Apache Airflow В перспективе - StarRocks.
Инструменты разработки и инфраструктуры: Git, CI/CD, Docker, Kubernetes.* комфортный современный офис рядом с м.Кожуховская (г Москва, проезд 2-й Южнопортовый, 12Ак1стр1)
* ежегодный пересмотр зарплаты и годовая премия
* более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
* расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
* гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
* подписка Прайм с возможностью совместного использования на трёх близких
* вознаграждение за рекомендацию друзей в команду Сбера.
Skills
Sign in to read and join the discussion.