Data Engineer/Дата инженер (по работе с регуляторной отчетностью в банках)
Summary
Data engineer at an IT company building regulatory reporting for banks: designs data-warehouse pipelines, optimizes extraction from source systems, implements transformations into target data models, and produces reconciliation reports. Core stack: Python, ETL/ELT tools (Airflow, Informatica, Spark, dbt), Kafka, and databases like Oracle, Greenplum and ClickHouse.
В IT компании открыта вакансия Data Engineer/Дата инженер.
Опыт работы с разработкой отчета "кредитный регистр" будет существенным преимуществом.
Strong skills в программировании на Pyton - обязательно.
Обязанности:
Опыт работы с регуляторной отчетностью (в банках), формирование отчетов, понимание разницы атрибутов;
Построение потоков данных для хранилища;
Оптимизация выгрузок данных из систем источников;
Реализация трансформаций в целевые модели данных хранилища;
Выгрузка данных в другие системы для дальнейшей обработки;
Реализация сверочных отчетов.
Требования:
Опыт работы в области разработки хранилищ больших данных не менее 2 лет;
Знание концепций данных и аналитики (напр., моделирование, ETL, инструменты отчетности, управление данными, хранение данных;
Знание фундаментальных основ Computer Science, в частности устройства распределенных файловых систем;
Опыт работы с ETL/ELT системами (Informatica, Airflow, Dagster, Apache Nifi, Apache Spark, PXF), трансформация DBT;
Опыт работы со стриминговыми сервисами обработки данных Apache Kafka, Rabbit MQ;
Опыт работы с отчетами и пакетами бизнес-аналитики, например: Tableau, QlikView, SAP BO etc;
Опыт работы с языками программирования, например написание bash-скриптов в UNIX или программирование на Pyton;
Опыт использования инструментом трансформации данных (DBT, Spark, Pyton);
Опыт работы с реляционными СУБД (Oracle, MS SQL Server/MySql);
Опыт работы с нереляционными, колоночными БД (Greenplum, Vertica, Векторные БД, Clickhouse, Scylla DB);
Опыт построения хранилищ для финансового сектора;
Опыт работы с инструментами DataGovernance;
Опыт в области проектирования схемы данных, баз данных и хранилищ;
Опыт работы с платформами больших данных(напр. HBase, ClickHouse, Druid, MemSQL, Hive, Minio);
Опыт интергации с технологиями CDC (GoldenGate, Informatica, Debezium)