Дата-инженер (Платформа анализа данных)
Summary
Builds and maintains a high-performance data processing pipeline for massive datasets, combining data engineering with backend development to handle heavy loads, APIs, and integrations with external data sources.
О проекте
Мы запускаем проект — «Платформа анализа данных. Это не просто классическое хранилище данных. Мы строим выделенный высокопроизводительный конвейер для обработки огромных объёмов данных.
Чем предстоит заниматься
Вы будете не просто дата-инженером в классическом понимании. Нам нужен специалист, который сочетает экспертизу в дата-инжиниринге с опытом backend-разработки и умеет работать с высокими нагрузками.
Ключевые задачи:
-
Разработка и сопровождение высоконагруженного конвейера обработки данных на отдельном контуре
-
Реализация API для взаимодействия между компонентами системы
-
Сбор информации через коллекторы (syslog, UDP и другие протоколы)
-
Построение ETL/ELT-пайплайнов с использованием Airflow, Spark, Kafka
-
Оптимизация производительности: профилирование, работа с многопоточностью, диагностика и устранение узких мест
-
Интеграция внешних источников данных в связке с аналитиком
Мы ждём, что вы
Опыт: от 2 лет в дата-инженерии или разработке высоконагруженных систем
Имеете высшее образование
Технические навыки (обязательно):
-
Python — основной язык для разработки пайплайнов и автоматизации
-
SQL — уверенное владение, оптимизация сложных запросов
-
ClickHouse, Hive и другие СУБД
-
Опыт работы с Big Data: Hadoop, Spark, Kafka
-
Оркестрация: Airflow, Jenkins или аналоги
-
Опыт разработки API высокой нагрузки (понимание многопоточности, работа с сетевыми протоколами)
-
Опыт работы с коллекторами сбора информации (syslog, UDP и другие)
Soft skills:
-
Системное мышление
-
Понимание производительности и архитектуры
-
Умение работать с большими объёмами данных
-
Коммуникация с аналитиками и смежными командами
Условия работы
-
Профессиональный рост: участие в профильных конференциях, доступ к корпоративной библиотеке и курсам.
-
Официальное трудоустройство в штат аккредитованной IT-компании ООО «НАПА ЛАБС»; полный соцпакет: оплачиваемые отпуска, больничные (100% компенсация), командировки.
-
ДМС со стоматологией после прохождения испытательного срока.
-
Корпоративные привилегии: бонусные тарифы на телеком-услуги Дом.ру, программы лояльности, скидки в фитнес-клубы и многое другое от партнеров.
-
Дружелюбная атмосфера в команде профессионалов, прозрачные процессы.
-
Яркая корпоративная жизнь: внутренние хакатоны, митапы, совместные выезды и спортивные мероприятия.