Senior Data Engineer [DPI Антифрод]

МТС Web Services (MWS) — бигтех-компания, предоставляющая облачные, AI-сервисы и платформенные решения под разные задачи бизнеса: от работы с данными до разработки продуктов и оптимизации процессов. Также мы запустили новую публичную платформу собственной разработки — MWS Cloud Platform. Мы ищем опытного дата-инженера для разработки и автоматизации ETL-процессов на проекте ГИС "Антифрод". Наша команда проектирует и разрабатывает высоконагруженную ETL-платформу для сбора, агрегации, управления и передачи данных с сетевых систем оператора связи МТС (DPI, MME, CGNAT и др.). проектировать архитектуру, согласовывать требования, выбирать технологии и средства реализации решений; планировать и реализовывать ETL-процессы, включая формирование источников нормализованных событий с контекстом, реализацию мультифакторной корреляции, профилирование устройства и абонента, передачу сигналов в ГИС; тестировать и автоматизировать запуск ETL-конвейеров; автоматизировать доставку, установку и обновление ПО и конфигураций; мониторить и исследовать проблемы производительности ETL-процессов в облачной инфраструктуре; участвовать в процессах автоматизации сценариев функционального, интеграционного и нагрузочного тестирования ПО; работать с дефектами, вести документацию по решению. знание технологий обработки данных в реальном времени; опыт проектирования и реализации ETL-процессов «под ключ», включая создание компонентов автоматизации; навыки написания пайплайнов и автоматизации процессов на Python; уверенное знание SQL; опыт создания Spark-приложений для распределенной потоковой обработки больших данных; опыт работы с брокерами сообщений (Kafka); умение оркестрировать ETL-задачи с помощью Airflow или аналогов; навыки проектирования и поддержки различных СУБД (ClickHouse, Greenplum и др.); опыт работы с микросервисной архитектурой, Docker и Kubernetes; опыт работы с Git/GitLab. БУДЕТ ПЛЮСОМ: опыт работы с S3. собственную платформу MTS Ocean для получения ИТ-ресурсов, а это значит, что деплой, мониторинг, observability - не будут для вас проблемой, вы сможете сосредоточиться на фичах; профессиональные гильдии инженеров по направлениям, чтобы поддерживать друг друга и обмениваться опытом; внутреннюю площадку TechTalks для обмена опытом, дискуссий, развития навыков самопрезентации; участие во внешних IT конференциях. Мы выступаем на HighLoad++, DataFest, Mobius, Test Driven Conf, Joker, DevOps, Матемаркетинг и даже проводим собственную конференцию по архитектуре Hello, conference! полезные курсы и вебинары в корпоративном университете и электронные библиотеки. А ЕЩЕ: медицинскую страховку с 1 месяца со 100% покрытием расходов, включая стоматологию, страхование жизни и здоровья в поездках за рубеж. А еще можно застраховать родственников с корпоративной скидкой; единую подписку МТС Premium — KION light в онлайн-кинотеатре KION, сервис МТС Music, 30 дней бесплатного пользования подпиской OZON Premium; скидки и предложения от партнеров на фитнес, занятия английским и прочее; отпуск 28 календарных дней + 3 дополнительных дня за ненормированный/гибкий рабочий день; гибридный и удаленный формат в зависимости от локации в рамках РФ.