Senior/Middle Data Engineer
Чем предстоит заниматься
- Разрабатывать и сопровождать ETL/ELT-пайплайны.
- Работать с Apache Airflow: разрабатывать, поддерживать и оптимизировать DAG.
- Проектировать и реализовывать интеграции и потоки данных.
- Работать с DWH (ODS / DDS / ADS) и большими объёмами данных.
- Оптимизировать запросы, пайплайны и процессы обработки данных.
- Анализировать и устранять инциденты, повышать стабильность процессов.
- Участвовать в code review и развитии стандартов разработки.
- Реализовывать и поддерживать проверки качества данных.
- Взаимодействовать с аналитиками, Data Scientists и другими командами.
- Участвовать в развитии Data Platform и технической документации.
- Для Senior — участвовать в архитектурных решениях, развитии инженерных практик и менторинге команды.
Что важно
- Уверенный SQL и Python.
- Практический опыт работы с Apache Airflow.
- Опыт разработки ETL/ELT-пайплайнов.
- Опыт работы с DWH и понимание архитектуры ODS / DDS / ADS.
- Опыт работы с MPP СУБД, предпочтительно Greenplum.
- Понимание принципов оптимизации запросов и пайплайнов.
- Опыт работы с Git и code review.
- Понимание принципов Data Quality и Data Governance.
Будет плюсом
- Опыт работы с ClickHouse и S3.
- Понимание Data Vault.
- Опыт настройки мониторинга и алертинга.
- Знакомство с каталогами данных, например OpenMetadata.
- Опыт CI/CD и DevOps-практик.