Data Engineer
Summary
Designs and builds ETL/ELT pipelines and data marts for a top Russian bank, using SQL, Python, Airflow, and distributed systems like Greenplum and Hadoop.
На проект крупного банка РФ (ТОП-5) ищем Data Engineer
Чем предстоит заниматься:
- Проектировать и разрабатывать ETL/ELT-пайплайны и витрины данных для аналитики и ML-моделей.
- Выполнять очистку, валидацию и стандартизацию данных, настраивать автоматические проверки качества.
- Организовывать сбор и переливку данных в Data Lake, контролировать обновление и актуальность.
- Оптимизировать SQL-запросы и пайплайны.
- Поддерживать Airflow-DAG-и, CI/CD и документацию.
- Внедрять современные инженерные практики и автоматизацию.
- Взаимодействовать с DS и аналитиками, помогать в оптимизации SQL и Python-кода.
Что ожидаем:
- Отличное владение SQL (PostgreSQL, PL/SQL) и глубинное понимание теории БД.
- Python + библиотеки для данных: pandas, polars, PySpark, pyarrow.
- Опыт работы с Airflow, DVC.
- Практика с распределёнными системами данных: Greenplum, Hadoop, Hive, Impala, HDFS.
- Знание архитектур DWH, Data Lake, Data Mart.
- Навыки работы с Jupyter (notebook/lab/hub), Git, CI/CD.
- Опыт оптимизации SQL и профилирования.
Будет преимуществом:
- Опыт работы с Docker / Kubernetes.
- Опыт взаимодействия с ML/DS-командами, построение data-пайплайнов под модели.
- Опты с инструментами проверки качества данных (Great Expectations, OpenMetadata и др.).