Разработчик Hadoop (Senior)

IT-компания GNIVC — партнер государственных компаний и лидеров российского бизнеса, разработчик и системный интегратор крупнейших государственных информационных систем, а также коммерческих решений для налогового мониторинга.

• Компания входит в ТОП-100 лучших работодателей страны и занимает 9-е место в категории «IT-компании» 2025 года по рейтингу работодателей hh.ru среди крупных компаний.
• Мы в 25% лучших по уровню счастья среди компаний отрасли IT и России 2025 по версии Happy Job.
• У нас есть ИИ-песочница — среда для экспериментов и реальных проектов на современных опенсорс-больших языковых моделях. Здесь можно применять ИИ для оптимизации своей работы, автоматизации процессов и реализации собственных идей от гипотезы до результата.
• Являемся аккредитованной ИТ-компанией.

Мы ищем опытного разработчика для проектов по обработке больших данных с потенциалом роста до тимлида в части Big Data. В задачи входит разработка и поддержка распределённых процессов обработки данных на базе Apache Spark (Java/Scala) с интеграцией в экосистему Hadoop (HDFS, Hive, HBase), а также взаимодействие с системами Oracle/PostgreSQL и потоковыми данными через Kafka. Работа ведётся в кластере ADH.

Задачи:

• Разработка и поддержка Big Data на крупном проекте.
• Разработка и сопровождение ETL-процессов и потоковых пайплайнов на Spark (Java/Scala).
• Интеграция с источниками и хранилищами данных: HDFS, Hive, HBase, Oracle, PostgreSQL, Kafka, ClickHouse.
• Написание SQL-запросов.
• Оптимизация производительности Spark-job’ов и процессов загрузки/выгрузки.
• Участие в проектировании архитектуры и внедрение лучших практик разработки под Big Data.
• Оптимизация производительности на уровне кластера (тюнинг Spark, partitioning, broadcasting).

Требования:

• Опыт коммерческой разработки на Java и Scala: 5+ лет опыта разработки, из них 2–3 года в Big Data.
• Практический опыт работы с Apache Spark.
• Знание экосистемы Hadoop (HDFS, Hive, HBase).
• Опыт работы с Kafka.
• Хорошее знание SQL.
• Опыт работы с реляционными СУБД.
• Уверенное владение Linux.
• Глубокое понимание Spark internals (RDD/DataFrame API, shuffle, Catalyst Optimizer).
• Опыт оптимизации производительности.
• Понимание принципов распределённых систем (HDFS, ZooKeeper, YARN).
• Опыт взаимодействия с бизнес-заказчиками/аналитиками (умение переводить требования в архитектуру решения).

Мы предлагаем:

• Гибкие форматы работы: возможность работы в офисе, по гибридному графику или полностью дистанционно на территории РФ.
• Рабочий график: пятидневная рабочая неделя (пн.–чт. с 09:00 до 18:00, пт. с 09:00 до 16:45).
• Достойное вознаграждение: конкурентная заработная плата по результатам собеседования, а также премии за эффективную работу и достигнутые результаты.
• Официальное трудоустройство: полное соблюдение требований ТК РФ, включая оплачиваемые отпуска (с дополнительной выплатой 50% от оклада после 11 месяцев работы в Компании) и выплату заработной платы дважды в месяц.
• Заботу о здоровье:
• Компенсация больничного листа продолжительностью до 7 дней с сохранением полной оплаты, эквивалентной рабочему дню.
• Добровольное медицинское страхование (ДМС) по окончании испытательного срока, с широким перечнем ведущих медицинских учреждений, включая качественную стоматологию.
• Возмещение до 50% затрат на занятия спортом.
• Развитие и обучение:
• Профессиональное обучение и сертификация за счёт компании.
• Организация внутренних и внешних митапов, хакатонов, конференций, семинаров и тренингов.
• Партнёрские программы по изучению иностранных языков и развитию профессиональных навыков от Skyeng и Skillbox.
• Доступ к корпоративной библиотеке на платформе Alpina Digital.
• Дополнительные выходные: возможность взять 5 дополнительных оплачиваемых выходных (ресурсных) дней в течение календарного года (с 1 января до 31 декабря) для сотрудников, проработавших в компании более 11 месяцев.