Ведущий разработчик хранилища данных

Задачи

• Разработка корпоративного хранилища данных.
• Участие в проектировании архитектуры DWH.
• Разработка и сопровождение пайплайнов потоковой обработки данных (Kafka/RabbitMQ > RisingWave / Apache Flink).
• Анализ, исследование текущего функционала системы.
• Обновление документации по результатам разработки.

Требования

• Опыт разработки на Greenplum / PostgreSQL (PL/pgSQL) от 3 лет (уверенные знания в области оптимизации).
• Опыт программирования на Python от 3 лет.
• Опыт использования Apache Airflow для оркестрации ETL/ELT-пайплайнов.
• Опыт работы с потоковой обработкой данных: Apache Kafka (продюсеры/консьюмеры, интеграция с DWH), RisingWave / Apache Flink.
• Опыт работы с командной строкой Linux.
• Знание основных концепций построения хранилищ данных, их отличия.
• Опыт проектирования архитектуры и функциональности DWH.
• Опыт работы с системами контроля версий.
• Опыт командной разработки.
• Опыт формализации и анализа бизнес-требований.
• Умение общаться с заказчиками.
• Владение английским языком на уровне чтения документации.