Senior Data Engineer
Posted Updated
Summary
Senior Data Engineer at Ostrovok (a travel/hotel booking tech company) designs and optimizes data warehouse architecture, builds high-load ETL pipelines and real-time/near-real-time streaming flows, and integrates data from APIs, files, and databases using SQL, Python, Hadoop (HDFS, Hive, Spark), Airflow, Docker, and Git. Based in Moscow with remote work available.
Обязанности:
- Разработка и оптимизация архитектуры Хранилища данных, проектирование слоев данных;
- Создание, поддержка и оптимизация высоконагруженных ETL-процессов;
- Интеграция данных из внутренних/внешних источников (API, файловые хранилища, БД);
- Работа с BigData и стримингом;
- Коммуникация с бизнес-аналитиками и формализация требований, дата-инженерами и архитекторами;
- Проведение код ревью и шеринг экспертизы с коллегами (проведение митапов, техническая консультация).
- Опыт в разработке и поддержке хранилищ данных от 5 лет;
- Отличные знания SQL, опыт оптимизации сложных запросов и работы с большими объёмами данных;
- Опыт проектирования и разработки ETL-процессов;
- Опыт разработки real-time и near real-time pipeline’ов обработки/загрузки данных;
- Глубокие знания и практический опыт работы с Hadoop (HDFS, Hive, Spark);
- Опыт работы с Airflow и Docker;
- Опыт работы с GIT;
- Уверенные знания Python.
Skills
Sign in to read and join the discussion.