Менеджер Департамента развития корпоративных данных (Data engineer)
Аграрная кредитная корпорация Менеджер Департамента развития корпоративных данных (Data engineer)
Summary
Data engineer in Agrarian Credit Corporation's corporate data development department (on-site in Astana) who builds ETL/ELT pipelines and data marts, integrating sources like 1С into a PostgreSQL-based DWH using Python, SQL, Apache Airflow, and dbt; Docker/CI-CD and big data tools (ClickHouse, Kafka) are a plus.
Языки программирования:
- Уверенное владение Python для написания ETL/ELT-пайплайнов, скриптов автоматизации и парсинга.
Базы данных и SQL:
- Отличное знание SQL (оптимизация сложных запросов, индексы, оконные функции, партиционирование).
- Опыт глубокой работы с PostgreSQL.
Инструменты и оркестрация:
Инструменты тестирования: опыт работы с Postman для тестирования REST API и проверки форматов данных перед интеграцией.
Контроль версий: уверенное владение Git и опыт работы в GitLab (ветвление, Merge Requests, code review).
Опыт работы с Apache Airflow (написание DAG, кастомных операторов, управление зависимостями).
Опыт работы с dbt для трансформации и тестирования данных внутри DWH.
Архитектура данных:
- Понимание принципов построения DWH и витрин данных (Data Marts).
- Понимание методологии моделирования данных Data Vault (Hubs, Links, Satellites).
Интеграции:
- Опыт работы с REST API для сбора данных из внешних систем.
- Практический опыт интеграции 1С с DWH (выгрузка данных через oData, очереди сообщений, прямые подключения или файлы).
Будет плюсом (Желательно):
CI/CD & DevOps: опыт работы с Docker, CI/CD пайплайнами.
Big Data: базовые знания или опыт работы с колоночными БД (например, ClickHouse) или инструментами потоковой обработки (Kafka) и тд.
Требования:- высшее образование в области информационных технологий, инженерии, математики, экономики, финансов, управления данными, бизнес-аналитики или других смежных направлений.
- от 2–3 лет в роли Дата-инженера / ETL-разработчика.
-
Режим работы: полный рабочий день, 5/2
-
Форма найма: трудовой договор
-
Социальный пакет: медицинская страховка
- Местонахождение: г. Астана, ул. Иманова 11 БЦ «Нурсаулет 1»