Ведущий Инженер по данным (Data Engineer) [CVM B2B, МТС Веб Сервисы]
Posted
Summary
Lead Data Engineer at MTS Web Services developing reporting for the CVM B2B product: building and optimizing data pipelines, data marts and ETL, integrating sources into the DataLake, setting up DQ monitoring, and doing code review. Core stack: SQL, Python, ClickHouse, Airflow, Spark, Hadoop ecosystem.
Мы находимся в поисках Ведущего Инженера по данным (Data Engineer). Вам предстоит развиваться направление отчетности продукта CVM B2B.
Создавать и оптимизировать пайплайны для сбора и обработки данных;
Контролировать качество данных;
Проектировать схемы для хранения данных;
Автоматизировать построения витрин данных;
Оптимизировать запросы;
Подготавливать техническую документацию;
Разрабатывать и оптимизировать витрины данных;
Проводить интеграцию различных источников данных в DataLake;
Создавать процессы репликаций в различные СУБД;
Оптимизировать и поддерживать существующие ETL-процессы;
Настраивать DQ-мониторинги и алертинги;
Участвовать в Code Review.
Опыт работы от 5 лет в качестве Data Инженера;
Опыт работы в продуктовой команде от года;
Продвинутые навыки работы с SQL;
Уверенное владение Python и библиотеками для работы с данными и построения ETL процессов;
Знание ClickHouse, onETL, Airflow, Spark;
Умение работать с большими массивами данных (Hadoop, Hive, NiFi, GreenPlum);
Владение Git;
Будет плюсом опыт работы с доставкой данных (Kafka, Flink).
Собственную платформу MTS Ocean для получения ИТ-ресурсов, а это значит, что деплой, мониторинг, observability - не будут для вас проблемой, вы сможете сосредоточиться на фичах;
Профессиональные гильдии инженеров по направлениям, чтобы поддерживать друг друга и обмениваться опытом;
Внутреннюю площадку TechTalks для обмена опытом, дискуссий, развития навыков самопрезентации;
Участие во внешних IT конференциях. Наши эксперты выступают на ведущих профильных конференциях, таких как HighLoad++, DevOps Conf, Joker, AHA!, Матемаркетинг и другие. А еще мы организуем собственную масштабную конференцию True Tech Day и регулярно проводим митапы для разработчиков и инженеров.
Полезные курсы и вебинары в корпоративном университете и электронные библиотеки;
Медицинскую страховку с 1 месяца со 100% покрытием расходов, включая стоматологию, страхование жизни и здоровья в поездках за рубеж. А еще можно застраховать родственников с корпоративной скидкой;
Единую подписку МТС Premium — KION light в онлайн-кинотеатре KION, сервис МТС Music, 30 дней бесплатного пользования подпиской OZON Premium;
Скидки и предложения от партнеров на фитнес, занятия английским и прочее;
Отпуск 28 календарных дней + 3 дополнительных дня за ненормированный рабочий день;
Гибридный и удаленный формат.