Data Engineer
Summary
Builds and supports DWH data pipelines for a sports analytics & entertainment product with a multi-million audience: ETL/ELT development and optimization, dbt data models, data marts for analysts, and metadata upkeep. Core stack: ClickHouse, SQL, Python, Apache Airflow, dbt.
iFuture – продуктовая IT-компания, мы разрабатываем собственный международный продукт с многомиллионной аудиторией в сфере спортивной аналитики и развлечений уже на протяжении 29 лет.
Мы ищем опытного инженера данных, который будет играть ключевую роль в построении и поддержке архитектуры хранения и обработки данных.
Если вы умеете работать с большими объемами информации, сложными системами и стремитесь к постоянному улучшению процессов - мы будем рады видеть вас в команде :)
Основные задачи позиции:
- Разработка и поддержка конвейеров обработки данных в рамках существующей архитектуры DWH
- Реализация и оптимизация ETL/ELT-процессов
- Разработка моделей данных и трансформаций на DBT
- Работа с аналитиками: уточнение требований, подготовка витрин, контроль качества данных
- Поддержка метаданных, схем и моделей данных по принятым в команде стандартам
- Участие в код-ревью и agile-процессах команды
Мы ожидаем:
- Опыт в Data Engineering от 3 лет
- Опыт работы с ClickHouse: движки таблиц, партиционирование, написание эффективных запросов
- Уверенный SQL: оконные функции, CTE, чтение планов запросов
- Python для разработки data pipeline'ов
- Опыт работы с Apache Airflow: написание и поддержка DAG'ов
- Понимание принципов DWH: слои, схемы, SCD
- Опыт работы с DBT или готовность быстро освоить
Будет плюсом:
- Опыт работы с Apache Spark и/или Kafka
- Опыт работы с BI-инструментами (Tableau, Power BI, Superset)
- Опыт внедрения тестов и проверок качества данных (dbt tests, Great Expectations)
- Участие в миграции данных или построении хранилища
- Базовое понимание data governance: доступы, lineage, каталогизация
- Умение документировать техническое решение
Мы предлагаем:
- Конкурентоспособную заработную плату
- Гибкую и понятную систему роста между ролями и грейдами, постоянные performance review
- Помощь опытного ментора в период адпатации, индивидуальный план онбординга
- Оформление по ТК РФ с первого рабочего дня в аккредитованную IT-компанию
- Корпоративный ДМС + Стоматология
- Компенсацию занятий любым спортом/фитнесом, корпоративные скидки в сеть фитнес клубов
- Изучение английского языка с преподавателем в офисе или онлайн
- Оплату профильного обучения (курсы, конференции, вебинары, учебники и пр.)
- Гибкий график работы: присутственные часы с 11 до 17 (GMT+3)
- Удобный формат работы – из дома или в комфортном офисе (в 5 минутах от ст.м. Старая Деревня (Санкт-Петербург)