Старший дата-инженер / DWH-инженер
Summary
Senior data engineer builds and migrates large-scale data pipelines for a streaming music service, optimizing analytics and ETL workflows in a 100+ TB DWH.
Стриминговый сервис, который объединил музыкальную платформу ВКонтакте и отдельное приложение VK Музыка. Миллионы пользователей слушают здесь любимые песни, а тысячи артистов находят свою аудиторию.
Задачи
- Миграция в целевую архитектуру данных
- Реализация и систематизация ETL-процессов согласно требованиям
- Оптимизация работы с данными для продуктовой аналитики
- Документирование данных и процессов по управлению данными
Требования
- Профессиональные знания и навыки: Python, SQL, Airflow, ClickHouse
- Опыт работы: 4+ года в разработке или data engineering
- Опыт построения архитектуры DWH объёмом 100+ TB
- Опыт создания ETL-процессов
- Опыт миграции данных между различными БД