Middle+ / Senior ETL-разработчик
Summary
Migrates legacy ETL pipelines from MSSQL/Vertica/PostgreSQL to Arenadata Postgres (ADB6) for a federal government system, ensuring data integrity, performance, and monitoring via Airflow/Python while maintaining a three-layer data architecture.
Требуется ETL-разработчик на проект.
Отрасль: госсектор
Дата старта проекта: в ближайшее время
Продолжительность проекта: от 3-4 месяцев (возможно продление)
Задача:
Проект — миграция аналитического блока федеральной системы на отечественную СУБД (импортозамещение, Arenadata Postgres/ADB6).
Нужно перенести действующие ETL-процессов (часть на Pentaho DI, часть уже на Airflow) со связки MSSQL / Vertica / PostgreSQL на целевой стек, сохранив трёхслойную архитектуру данных, без потери данных и функциональности. Реализовать тест-кейсы проверки качества данных и метрики для мониторинга пайплайнов.
Обязательные требования (Must Have):
• Готовность работать в команде заказчика, следовать внутренним процессам и методологиям
• Опыт коммерческой разработки и сопровождения ETL/ELT-процессов от 3 лет
Продвинутый SQL:
• Написание и оптимизация сложных запросов (оконные функции, CTE, материализованные представления)
• Опыт работы с большими объёмами данных (partitioning, indexing, query plan analysis)
• Опыт работы с СУБД: PostgreSQL, MS SQL Server, Vertica
• Практический опыт с инструментами оркестрации и ETL/ELT (обязательно, целевой стек):
• Apache Airflow — не менее года практического опыта
• Программирование на Python (Pandas, Psycopg2, Airflow SDK)
• Pentaho Data Integration (Kettle) — опыт чтения/переноса существующих трансформаций (.ktr/.kjb) на Python/Airflow
• Опыт работы с Arenadata (ADPG и/или ADB6) либо другой отечественной СУБД из реестра (Postgres Pro, Jatoba и т.п.) — обязательно, целевая платформа проекта
• Обеспечение качества данных (Data Quality):
• Реализация валидации данных при загрузке (полнота, консистентность, соответствие формату)
• Сквозное логирование пайплайнов с детализацией по шагам, объёмам и ошибкам
• Механизмы error handling, retry logic, уведомлений
• Опыт миграции между СУБД / трёхслойных схем данных (staging/DDS/витрины)
• Понимание инкрементальных загрузок (delta, CDC), идемпотентности пайплайнов, обработки SCD
• Готовность работать в команде заказчика, следовать внутренним процессам и методологиям
• Навыки коммуникации и работы в распределённых командах
Желательные требования:
- Опыт проектов по импортозамещению СУБД в госсекторе
- Знание принципов Data Vault 2.0 / Kimball (dimensional modeling)
- Навыки настройки мониторинга пайплайнов (Grafana/Prometheus, алертинг)
- Опыт работы с большими объёмами данных в высоконагруженных системах (300 000+ пользователей, десятки млн записей/день)