Аналитик DWH
Summary
Аналитик DWH в Amarcon анализирует бизнес-потребности в данных, проектирует модели (Kimball, Data Vault), разрабатывает ETL/ELT-потоки, оптимизирует запросы к большим данным и поддерживает витрины. Ключевые технологии: SQL, PostgreSQL/Oracle/MS SQL, GreenPlum/ClickHouse, Airflow, Hadoop/S3.
О компании
Амаркон — российская IT-компания с 15-летним опытом. Разрабатываем и внедряем собственные решения ECM, PIM, DAM, BI, e-commerce, а также выполняем заказную разработку и интеграцию. Клиенты: X5 Group, Tele2, Русатом Сервис, НЛМК, Metro CC, Лента и др.
Задачи:
● Анализ бизнес-потребностей в данных, формализация слабоструктурированных требований в ТЗ на разработку витрин.
● Разработка и согласование методологии расчёта KPI.
● Проектирование логических и физических моделей данных (витрины, ODS, DDS) по методологиям Kimball и Data Vault 2.0.
● Поиск и профилирование источников данных, разработка алгоритмов построения витрин, создание прототипов и их защита перед стейкхолдерами.
● Оценка вычислительных ресурсов (сторадж, компьют) и трудозатрат.
● Сопровождение витрин на всех этапах: разработка потоков, тестирование, UAT, передача в поддержку, решение инцидентов 3-й линии.
● Определение и имплементация логики Data Quality для витрин.
● Анализ существующих ETL/ELT-потоков и зависимостей (Airflow), выявление узких мест, оптимизация сложных запросов к большим данным (млрд записей, ТБ).
● Постановка задач смежным командам (разработчики, админы, инженеры данных).
● Участие в архитектурных решениях (DWH/Data Lake/Lakehouse, batch/stream, CDC), разработка документации и схем.
Требования:
● Методологии: практический опыт Kimball и Data Vault 2.0.● Платформы: понимание DWH, OLAP, Data Lake, Lakehouse.
● SQL: экспертное владение (оконные функции, CTE, JOIN-ы, execution plan, оптимизация, индексы, партиционирование).
● СУБД: PostgreSQL, Oracle, MS SQL Server (глубокое знание, настройка производительности).
● MPP: опыт с GreenPlum, ClickHouse, Trino (шардирование, колокация).
● Хранилища: опыт с Hadoop (HDFS) и объектными хранилищами (S3).
● Оркестрация: понимание ETL/ELT, анализ зависимостей в Airflow / Nifi / аналогах.
● Big Data: работа с объёмами от млрд записей и ТБ.
● Коммуникация: эффективное общение с бизнес-заказчиками, разработчиками, администраторами.
● Документирование: систематизация требований, формирование чётких ТЗ.
● Git: уверенное владение (ветки, мерж, конфликты).
Желательно:
● Профилирование данных, анализ ETL-зависимостей на уровне кода (Python/Java).
● Опыт с системами Data Quality (Great Expectations, Deequ).
● Облачные платформы (AWS/GCP/Azure: S3, EMR/Dataproc, IAM, VPC).
● Мониторинг (Grafana, Zabbix, Prometheus).
● Docker, Kubernetes/Rancher.
● Безопасность: маскировка PII, управление доступом (Ranger).
● Базовое администрирование Unix/Linux.
Мы предлагаем:
● Удалённая работа
● Официальное оформление (ИП, СЗ)