Руководитель направления архитектуры DWH антифрод
Description
Обязанности:
Разрабатывать архитектуру ETL и интеграций аналитического хранилища данных (DWH); Проектировать и обеспечивать реализацию потоков ETL в соответствии с выбранной методологией; Определять стандарты разработки, версионирования, развертывания, наблюдаемости и восстановления пайплайнов; Управлять физической моделью данных корпоративного хранилища; Формировать архитектурные стандарты в области данных и контролировать их соблюдение. Обеспечивать историзацию и правила качества данных; Руководить командой инженеров, взаимодействовать с владельцами данных, бизнес и системными аналитиками; Проводить архитектурные ревью ETL/ELT; Оптимизировать архитектуру хранилища и обеспечивать ее масштабируемость; Готовить и согласовывать обязательную документацию.
Требования:
Опыт работы архитектором или главным инженером DWH (ETL/ELT) от 5 лет; Отличное понимание архитектуры корпоративных хранилищ данных; Практический опыт проектирования хранилищ с использованием Greenplum (GPDB), Postgres, Hadoop; Глубокое понимание архитектуры Greenplum: распределение, партиционирование, планы выполнения, оптимизация хранения и обработки больших объемов данных; Проведение ревью проектных решений, моделей, ETL/ELT-процессов, BI-витрин и технической документации; Практический опыт работы с отечественными BI решениями; Отличное знание SQL и принципов оптимизации запросов в MPP-системах; Экспертиза и применение архитектурных паттернов загрузки, инкрементальности, CDC, дедупликации, историчности, отслеживаемости и разграничения доступа; Опыт в проектировании и применение Spark, Impala, Trino, Airflow, Java/Python в промышленном ландшафте данных; Понимание принципов CI/CD, работа с системами контроля версий; Уверенное владение инструментами проектирования:- разработка физических моделей- управление репозиторием моделей- поддержка корпоративных стандартов моделирования Экспертиза в банковской предметной области. Вы должны хорошо ориентироваться в банковских данных и понимать структуру основных предметных областей.