Data Engineer
Posted Updated
Summary
Data Engineer in Almaty who designs, builds and maintains ETL/ELT pipelines and integrations between the company's internal systems, unifies data models and reference data, and monitors data quality and consistency. Core technologies: SQL, relational databases, APIs and exchange formats (JSON/XML/CSV), message queues, data warehouse architecture.
Основные обязанности
- Анализировать источники данных, существующие интеграции и механизмы обмена информацией между информационными системами.
- Проектировать, разрабатывать и настраивать потоки данных и интеграционные взаимодействия между системами.
- Обеспечивать унификацию данных из различных источников: приводить их к единой модели, структуре и формату.
- Выявлять и устранять расхождения в справочниках, идентификаторах, классификаторах и правилах хранения данных.
- Разрабатывать, настраивать и сопровождать ETL/ELT-процессы для загрузки, преобразования и синхронизации данных.
- Контролировать качество, полноту, целостность и согласованность данных.
- Выявлять причины возникновения ошибок и несоответствий, разрабатывать решения по их устранению и предотвращению.
- Документировать источники и получатели данных, правила преобразования, маршруты и механизмы передачи информации.
Требования к кандидату
- Высшее образование (бакалавриат, специалитет, магистратура).
- Опыт работы от 3 лет в роли Data Engineer, Data Integration Engineer, Integration Engineer, ETL Developer или на аналогичной позиции.
- Уверенное владение SQL, понимание принципов работы реляционных баз данных.
- Практическое понимание ETL/ELT-подходов, интеграционных процессов и архитектуры хранилищ данных.
- Опыт работы с API и форматами обмена данными: JSON, XML, CSV, файловые обмены.
- Понимание принципов работы очередей сообщений и асинхронного обмена данными.
- Знание принципов Data Quality, Master Data Management (MDM), Reference Data и Data Governance.
- Умение анализировать взаимосвязи между информационными системами, описывать архитектуру данных и схемы информационных потоков.
- Системное мышление, аналитические способности, внимательность к деталям.
Мы ожидаем от кандидата
- Умение разбираться в сложных интеграционных связях между информационными системами.
- Способность самостоятельно анализировать проблемы и находить оптимальные технические решения.
- Ответственный подход к качеству и достоверности данных.
- Навыки взаимодействия с техническими специалистами и бизнес-подразделениями.
- Умение структурировать информацию и документировать технические решения.
Условия работы
- Работа над развитием корпоративной архитектуры данных и интеграционных решений.
- Профессиональная команда и взаимодействие с экспертами различных направлений.