Дата-инженер (интеграционные среды)
Summary
Data engineer on a bank project: develops metadata integration flows into a unified integration layer and DMDC data mart, writes Python scripts that auto-generate DDL/DML and Airflow DAGs, and maintains/optimizes Iceberg tables. Core stack: PySpark, Airflow, Hadoop, Kafka, Iceberg, Kubernetes, SQL.
Группа Компаний Орбита - ведущий разработчик цифровых решений, российская аккредитованная ИТ-компания.
Масштабный технологический проект с глубокой экспертизой в цифровизации бизнеса. Ключевые отрасли: государственный сектор, FinTech, HRTech, коммуникации и медиа, услуги, рынок недвижимости, travel.
Нам доверяют крупнейшие компании РФ, среди них: Т1, ВТБ, Иннотех, Альфа Банк, ОИС и другие.
Более 6 лет мы ведем собственную продуктовую и заказную разработку высокоэффективных цифровых решений.
В связи с расширением команды мы ищем Дата-инженера (интеграционные среды) в команду банка
Стек технологий:
СУБД: PostgreSQL, MS-SQL, Oracle, ClickHouse, DB2, Tarantool, Elasticsearch, Hadoop (Impala, Hive).
Data Stack: Hadoop, S3, Impala, Hive, Spark, Iceberg, Kafka, Elasticsearch.
Языки программирования: Python (Pandas, NumPy, Matplotlib), C#, SQL.
Инструментарий: Git, Jira, Kubernetes.
Требования:
Профессиональные навыки и опыт:
- Глубокая экспертиза в разработке на PySpark и написании сценариев Airflow.
- Опыт работы с высоконагруженными распределенными системами обработки и хранения данных (Hadoop).
- Практические навыки конфигурации и оптимизации Spark-приложений и управления ресурсами Spark.
- Опыт работы со стеком Streaming/Storage/Messaging: Spark Streaming, Iceberg, Kafka, S3.
- Навыки работы с контейнеризацией и оркестрацией в среде Kubernetes (K8s).
- Опыт проведения нагрузочного тестирования систем обработки данных.
Общие компетенции:
- Экспертное владение SQL и навыками оптимизации сложных запросов.
- Знание основ математической статистики, анализа данных и основ машинного обучения (PyTorch, TensorFlow).
- Умение работать в условиях распределенных систем и обеспечивать консистентность данных при автоматическом определении типов схем.
Задачи:
- Развитие интеграционной среды: Разработка потоков подключения метаданных информационных систем к Единому интеграционному слою и витрине DMDC.
- Автоматизация и шаблонизация: Создание шаблонов в платформе управления метаданными для обеспечения подключения ключевых типов СУБД (PostgreSQL, Oracle, MS-SQL, ClickHouse, DB2, Elasticsearch, Tarantool).
- Разработка инструментов автоматизации: Проектирование Python-скриптов для автоматической генерации DDL/DML запросов и Airflow DAG для процессов загрузки и обслуживания данных.
- Поддержка и оптимизация: Исправление ошибок существующих потоков, а также разработка Airflow DAG для обслуживания таблиц Iceberg с применением кастомных операторов (оптимизация чтения при наличии значительного количества delete-файлов).
- Модернизация витрины: Доработка функциональности витрины DMDC для обеспечения полной поддержки возможностей каталога данных.
- Документирование: Подготовка и ведение проектной документации по результатам разработки.
Мы предлагаем:
- Удаленный формат
- Белую заработную плату, оформление согласно Трудовому кодексу РФ;
- Комфортный старт: 3 месяца плавного погружения под присмотром HR;
- Поддержку: IT-отсрочку и консультации HR/юристов;
- Прозрачные процессы и открытую коммуникацию;
- Работу на лучшем оборудовании без логирования времени, с фокусом на доверии и результате;
- ДМС: медицинское страхование за счет компании;
- Развитие: индивидуальный план обучения, посещение конференций и митапов, поддержка в развитии карьеры;
- Личный бренд: возможность выступать на конференциях, митапах, публикация статей;
- Бенефиты: ежеквартальное обновление корпоративных скидок;
- Движ: организация вечеринок оффлайн и онлайн, предоставление мерча, проведение конкурсов и челленджей.
Откликайтесь, будем рады познакомиться лично!