Data Engineer
Summary
Data engineer at TKB Investment Partners (an asset management firm) in Saint Petersburg: migrates data and processes from MS SQL to Postgres Pro, builds CDC flows from PostgreSQL into a ClickHouse DWH, and maintains ETL/ELT pipelines with Airflow, Python and SQLMesh. Also handles DB administration, query optimization and cataloging data in OpenMetadata.
-
Участие в миграции данных и процессов с MS SQL на Postgres Pro
-
Построение и сопровождение CDC-процессов из PostgreSQL в DWH на ClickHouse
-
Разработка и поддержка ETL/ELT-пайплайнов (Airflow, Python, SQLMesh) - Оптимизация запросов и структур данных, диагностика проблем производительности
-
Администрирование БД
-
Взаимодействие с пользователями БД по вопросам архитектуры и нагрузки
-
Описание источников и моделей данных в каталоге данных на OpenMetadata
-
Передача экспертизы команде: стандарты, документация, ревью решений
- Высшее образование (ИТ, точные науки, инженерное)
- Опыт работы от 3-х лет по специальности
- Глубокое понимание архитектуры PostgreSQL: MVCC, WAL, autovacuum, планировщик, блокировки
- Опыт работы с HA-кластерами PostgreSQL (Patroni, BiHA или аналоги): понимание механизмов failover и switchover, их влияние на приложения и потоки данных
- Понимание физической и логической репликации и их влияния на нагрузку
-
Практический опыт построения CDC (Debezium, логическая репликация или аналоги)
-
Умение анализировать планы выполнения и оптимизировать запросы - Опыт проектирования индексов и партиционирования
-
Уверенное владение Python и опыт работы с Apache Airflow Будет плюсом опыт работы со следующими технологиями: Postgres Pro, ClickHouse
-
Опыт эксплуатации HA-кластеров PostgreSQL (Patroni или аналоги)
-
Опыт работы с OpenMetadata или другими каталогами данных
-
Опыт работы с трансформационными пакетами dbt или SQLMesh
- Работа в одной из крупнейших управляющих компаний России
- Полное соблюдение требований трудового законодательства
- Бонусы по итогом года
- Социальный пакет (ДМС + другие виды страхования для работников, дни самозаботы)
- Корпоративные мероприятия