Junior Data Engineer в Скоринг [Big Data, МТС Веб Сервисы]
Summary
Junior Data Engineer on MTS Web Services' B2B Scoring product (Big Data): builds and maintains ETL/ELT pipelines, writes and optimizes SQL, prepares data for analytics and ML, and automates routine tasks with Python. Core stack is Python, SQL and big data (HDFS, Spark); PySpark, Airflow, Kafka and ClickHouse are pluses.
MTC Web Services (MWS) — битех-компания, предоставляющая облачные, AI-сервисы и платформенные решения под разные задачи бизнеса: от работы с данными до разработки продуктов и оптимизации процессов.
Ищем Junior Data Engineer в команду продукта Скоринг (направление Big Data).
Скоринг — это коммерческий B2B-продукт, который помогает снижать финансовые риски, улучшать модели принятия решений.
Разрабатывать и поддерживать ETL/ELT-пайплайны для обработки данных;
Писать и оптимизировать SQL-запросы для выборки и трансформации данных;
Очищать, преобразовывать и готовить данные для аналитики и ML-моделей;
Мониторить работоспособность пайплайнов и оперативно реагировать на инциденты в дни дежурств;
Участвовать в проектировании структуры хранилищ данных и витрин;
Писать unit- и интеграционные тесты для разрабатываемого функционала;
Автоматизировать рутинные задачи с помощью Python;
Документировать процессы, пайплайны и принятые технические решения;
Участвовать в code review и перенимать лучшие практики команды.
Базовое знание Python (стандартная библиотека, работа с данными);
Владение SQL, понимание основ реляционных баз данных;
Понимание принципов работы с большими данными (HDFS, Spark — хотя бы на уровне теории);
Опыт работы с Git и базовое понимание CI/CD;
Знакомство с Linux и умение работать в терминале;
Понимание основ построения хранилищ данных (слои, витрины, нормализация);
Будет плюсом:;
Опыт работы с PySpark, Airflow, Kafka;
Понимание работы с аналитическими базами данных (ClickHouse и аналоги), опыт оптимизации запросов;
Знакомство с Docker и Kubernetes;
Внутреннюю площадку TechTalks для обмена опытом, дискуссий, развития навыков самопрезентации;
Участие во внешних IT конференциях. Мы выступаем на HighLoad++, DataFest, Mobius, Test Driven Conf, Joker, DevOps, Матемаркетинг и даже проводим собственную конференцию по архитектуре True Tech Arch;
Полезные курсы и вебинары в корпоративном университете и электронную библиотеку;
А еще:;
ДМС с первого месяца работы, включая стоматологию;
Страхование от несчастных случаев с 1 месяца работы. Материальную помощь в сложных жизненных ситуациях;
Отпуск 28 календарных дней;
Прием врачей общей практики и массаж в офисе;
Мобильная связь за счет компании и льготные тарифы для близких;
Подписка на онлайн-кинотеатр KION, сервис МТС Музыка, книжный сервис Строки от МТС, безлимитные мессенджеры и соцсети.