Старший инженер данных
Posted Updated
Summary
Senior Data Engineer in Moscow building and optimizing scalable batch and streaming data pipelines using Airflow, Spark, Hadoop and ClickHouse, ensuring data quality and delivering features for analytics and ML, including work on AI/ML services in the corporate AI center.
Чем предстоит заниматься:
- Проектировать и оптимизировать масштабируемые пайплайны обработки данных (batch и streaming) на базе Airflow, Spark, Hadoop, ClickHouse;
- Поддерживать высокое качество данных (валидация, профилирование, мониторинг) и своевременную поставку признаков для аналитики и машинного обучения;
- Участвовать в разработке AI/ML сервисов в рамках Корпоративного центра ИИ.
Мы предлагаем:
- Возможность присоединиться к профессиональной, высоко мотивированной и результативной команде, перспективы карьерного роста;
- Официальное трудоустройство в аккредитованный IT-актив, оплачиваемые отпуск, командировки, больничные;
- Рыночную заработную плату по результатам собеседования;
- ДМС со стоматологией после испытательного срока, 100% компенсацию больничного;
- Комфортные офисные условия;
- Корпоративные программы от наших партнеров;
- Бонусное подключение к телеком-услугам Дом.ru по тарифу «Сотрудник»;
- Яркую корпоративная жизнь и дружелюбную атмосферу в коллективе профессионалов!
Мы ждём от кандидата:
- Наличие высшего образования;
- Продвинутое владение SQL (ClickHouse, Hive, реляционные СУБД), оптимизация запросов и структур хранения;
- Продвинутое владение Python, PySpark и основы Scala для разработки и оптимизации пайплайнов на Spark;
- Опыт работы с Hadoop/HDFS, интеграцией с объектными хранилищами (S3) и потоковой обработкой (Kafka);
- Проектирование и сопровождение устойчивых ETL/ELT-процессов в Airflow;
- Навыки работы с Git, CI/CD и инструментами анализа (Jupyter, DataSphere).