Scala Developer (Hadoop, ETL)
Навыки: Scala, Apache Hadoop. Квалификация: Middle. Специализации: Бэкенд разработчик.
Bell Integrator – крупный системный интегратор страны. Мы являемся аккредитованной ИТ– компанией.
На текущий момент с нами работает более 2500 высококлассных аналитиков, руководителей проектов, разработчиков, тестировщиков и специалистов по сопровождению крупных информационных систем. Bell Integrator активно реализует проекты по всей России, среди наших заказчиков – ведущие системообразующие финансовые, телеком и ритейл компании страны.
Центральный офис Bell Integrator расположен в Москве, представительства – в Санкт-Петербурге, Нижнем Новгороде, Пензе, Саратове, Уфе, Барнауле, Минске (Беларусь).
Проект:
Мы, команда, активно развивающая аналитические продукты и сервисы для внутренних пользователей и внешних клиентов Экосистемы банка.
В рамках одного из наших направлений мы участвуем в развитии внутреннего продукта – Корпоративное хранилище данных на платформах Hadoop и Greenplum.
Данные используются аналитиками Банка для построения управленческой отчетности, моделирования, data science, обеспечения данными различных автоматизированных процессов.
Используются данные как внутренних систем банка, так и внешних источников (Единый государственный реестр ЮЛ/ИП, база арбитражных дел, портал госзакупок и т.д.).
Используемые инструменты:
для накопления и параллельной обработки больших объемов данных – Hadoop, Greenplum
для управления потоками ETL – Oozie, Airflow, Nifi, также используются скрипты на Bash
для разработки ETL на Hadoop – Scala, Spark, Hive
DevOps – Git, Jenkins, SonarQube
Мы ожидаем:
- Опыт работы со Scala и sbt, стеком технологий Hadoop (HDFS, Hive, Spark версии 2 и выше, spark SQL)
Чем предстоит заниматься:
- Разработка ETL потоков на платформе Hadoop (Scala + Spark SQL)
- Поиск возможностей оптимизации, повышение скорости расчета, эффективности использования вычислительных ресурсов
- Повышение стабильности работы приложений, анализ типовых ошибок и возможных рисков, развитие системы логирования, её полноты и информативности для последующей промышленной эксплуатации, при необходимости участие в решении возникающих при эксплуатации инцидентов
- Развитие системы контроля качества, автотестов
Условия:
- Возможность участия в интересном проекте
- Возможность профессионального и карьерного роста в компании;
- Опыт работы в команде профессионалов;
- Уровень заработной платы обсуждается индивидуально.
- Формат работы - офисный/гибридный в Москве