Senior Data Engineer
Posted Updated
Description
Обязанности:
- Разработка и оптимизация архитектуры хранилищ данных, проектирование слоев данных.
- Создание, поддержка и оптимизация высоконагруженных ETL-процессов.
- Интеграция данных из внутренних/внешних источников (API, файловые хранилища, БД).
- Работа с BigData и стримингом.
- Коммуникация с бизнес-аналитиками и формализация требований, дата-инженерами и архитекторами.
- Проведение код-ревью и шеринг экспертизы с коллегами (проведение митапов, техническая консультация).
Требования:
- Опыт в разработке и поддержке хранилищ данных от 5 лет.
- Отличные знания SQL, опыт оптимизации сложных запросов и работы с большими объёмами данных.
- Опыт проектирования и разработки ETL-процессов.
- Опыт разработки real-time и near real-time pipeline’ов обработки/загрузки данных.
- Глубокие знания и практический опыт работы с Hadoop (HDFS, Hive, Spark).
- Опыт работы с Airflow и Docker.
- Опыт работы с GIT.
- Уверенные знания Python.
Skills
Sign in to read and join the discussion.