Data Engineer/Дата инженер (в банках)
Summary
Builds and optimizes data pipelines for banks using Python, ETL tools (Informatica, Airflow, Spark), and databases (Oracle, ClickHouse) to support regulatory reporting and analytics.
В IT компании открыта вакансия Data Engineer/Дата инженер.
Strong skills в программировании на Pyton - обязательно.
Обязанности:
Опыт работы с регуляторной отчетностью (в банках), формирование отчетов, понимание разницы атрибутов;
Построение потоков данных для хранилища;
Оптимизация выгрузок данных из систем источников;
Реализация трансформаций в целевые модели данных хранилища;
Выгрузка данных в другие системы для дальнейшей обработки;
Реализация сверочных отчетов.
Требования:
Опыт работы в области разработки хранилищ больших данных не менее 2 лет;
Знание концепций данных и аналитики (напр., моделирование, ETL, инструменты отчетности, управление данными, хранение данных;
Знание фундаментальных основ Computer Science, в частности устройства распределенных файловых систем;
Опыт работы с ETL/ELT системами (Informatica, Airflow, Dagster, Apache Nifi, Apache Spark, PXF), трансформация DBT;
Опыт работы со стриминговыми сервисами обработки данных Apache Kafka, Rabbit MQ;
Опыт работы с отчетами и пакетами бизнес-аналитики, например: Tableau, QlikView, SAP BO etc;
Опыт работы с языками программирования, например написание bash-скриптов в UNIX или программирование на Pyton;
Опыт использования инструментом трансформации данных (DBT, Spark, Pyton);
Опыт работы с реляционными СУБД (Oracle, MS SQL Server/MySql);
Опыт работы с нереляционными, колоночными БД (Greenplum, Vertica, Векторные БД, Clickhouse, Scylla DB);
Опыт построения хранилищ для финансового сектора;
Опыт работы с инструментами DataGovernance;
Опыт в области проектирования схемы данных, баз данных и хранилищ;
Опыт работы с платформами больших данных(напр. HBase, ClickHouse, Druid, MemSQL, Hive, Minio);
Опыт интергации с технологиями CDC (GoldenGate, Informatica, Debezium)