Data Engineer
Posted 1
view
Summary
Builds and runs the VK Ads data warehouse: developing ETL/ELT pipelines in YQL (YTsaurus) and ClickHouse, supporting Airflow DAGs, data-quality checks and BI reporting (Superset/DataLens), while migrating the ad DWH from a legacy ClickHouse cluster to YTsaurus + managed ClickHouse. Includes on-call duty with mentoring.
Мы строим хранилище данных VK Рекламы: от сырых логов до отчётов, на которые опираются бизнес, аналитика и рекламные продукты. Сейчас в процессе большая миграция AdTech DWH с legacy-кластера ClickHouse TRG-1 на новый стек: YTsaurus (jupiter) для хранения и вычислений и управляемый ClickHouse (MDB adh-analytics) для аналитики, с интеграцией в OneDWH (проект ADA).
Задачи
- Разработка и сопровождение ETL/ELT-пайплайнов на YQL (YTsaurus) и ClickHouse
- Участие в миграции таблиц и отчётности TRG-1 на YT + MDB
- Поддержка DAG'ов в Airflow
- DQ-проверки, мониторинг свежести данных, разбор инцидентов и аномалий
- Поддержка отчётности в Horizon BI (Superset/DataLens), взаимодействие с аналитиками
- Дежурства в онколле с наставничеством на старте
Требования
- Уверенный SQL, опыт с ClickHouse или другой колоночной/аналитической СУБД
- Опыт работы с ETL-пайплайнами и оркестратором Airflow или аналогами
- Python на уровне написания рабочих скриптов автоматизации
- Базовое понимание DWH: слои, моделирование, backfill
- Git, умение разбирать расхождения в данных и докопаться до первопричины
Будет плюсом
- Знание YTsaurus/YQL
- Опыт миграций данных между кластерами
- AdTech-домен (показы, клики, биллинг, ORD/ABC)