Data Engineer
Summary
Data Engineer at Bell Integrator (part of Softline Group) building and optimizing ETL pipelines and analytical data marts on Hadoop for large enterprise clients in finance, telecom, and retail. Office-based in Moscow; core stack is advanced SQL, Python (PySpark/Pandas), Spark/Hive/Impala, Airflow, and Bash.
По вакансии офисный формат работы в Москве
Bell Integrator – аккредитованная ИТ-компания и являемся частью большой семьи ГК Softline. Bell Integrator активно реализует проекты по всей России, среди наших заказчиков – крупнейшие системообразующие финансовые, телеком и ритейл компании страны.
Требования:
SQL на продвинутом уровне (аналитические функции, подзапросы, хранимые процедуры, оптимизация производительности).
Cтек технологий Big Data (Hadoop, Spark, Hive/Impala) и любой СУБД.
Знание понятий и концепций DWH
Python (PySpark, Pandas, NumPy, REST API);
Airflow/Dagster/Oozie
BitBucket\Git
Bash
Обязанности:
Загрузка, очистка и трансформация больших объемов данных из различных источников (RDBMS, Hadoop, плоские файлы) в рабочую область (платформы Hadoop)
Проектирование и разработка аналитических витрин данных
Проектирование и разработка коннекторов для ETL процессов
Мониторинг и оптимизация процессов загрузки, преобразования данных и сборки витрин
Разработка, поддержка и оптимизация инфраструктуры и внутренних сервисов для обработки больших объемов данных;
Разработка инструментов для автоматизации рутинных задач, связанных с обработкой данных
Условия:
Возможность профессионального и карьерного роста в компании
Возможность поучаствовать в разных проектах
Оформление в соответствии с ТК РФ