Инженер данных
Summary
Data Engineer at MyCar Group in Almaty who develops the corporate data warehouse end to end: designing layers, schemas and data marts for analytics/BI, building and optimizing ETL/integration pipelines, and ensuring data quality and observability. Core stack: SQL, PostgreSQL/MySQL, Kafka, ClickHouse, Airflow, Python.
-
От 4 лет коммерческого опыта в роли DWH / Data Engineer
-
Хранилище, которое вы развивали и меняли, а не только поддерживали в рабочем состоянии
-
Витрины данных, доведённые до продакшена и живущие в реальной работе аналитики или BI
-
Проектирование
o Понимаете принципы построения DWH (Kimball / Inmon, star schema, ETL/ELT) и можете обосновать выбор подхода под конкретную задачу, а не следовать шаблону
o Понимаете различия OLTP- и OLAP-систем и последствия выбора для схемы и профиля нагрузки
o Умеете декомпозировать размытую бизнес-задачу до модели данных и плана работ
Технологии
o SQL на уровне оптимизации: читаете план запроса, находите узкие места, переписываете тяжёлые запросы
o PostgreSQL / MySQL или другая промышленная РСУБД под нагрузкой
o Kafka: топики, партиционирование, продюсеры и консьюмеры, поведение при сбоях и повторной обработке
o Clickhouse: проектирование схем под конкретные паттерны запросов, движки таблиц, партиционирование, materialized views
o Airflow или другой оркестратор
o Python на уровне поддерживаемого production-кода
o Git, Jira
Будет плюсом:
o Отвечали за архитектуру хранилища или крупного домена данных целиком, а не за отдельные пайплайны
o Проводили аудит чужих решений и доводили рефакторинг до результата, а не до списка замечаний
o Работаете с качеством данных как с отдельной задачей: проверки, SLA на данные, договорённости с владельцами источников
o Ревьюите код, помогаете расти middle-инженерам
o Общаетесь с бизнес-заказчиком напрямую: превращаете запрос в требования, оцениваете и защищаете сроки
o Интеграции с BI-системами: Power BI, Tableau и др.
o Опыт создания и мониторинга production-сервисов и API на Python, работа со сторонними API
o Опыт работы в облачных средах (AWS, GCP), понимание облачных сетей и безопасности
Обязанности:
-
Развивать корпоративное хранилище данных: проектировать слои, схемы, таблицы и представления, оптимизировать структуру хранения
-
Разрабатывать и сопровождать витрины данных для аналитики, BI
-
Проектировать и разрабатывать процессы загрузки данных из разнородных источников
-
Настраивать потоки передачи данных между системами: интеграции, синхронизация, обработка ошибок
-
Строить дашборды, алертинг и мониторинг
-
Обеспечивать наблюдаемость пайплайнов: контроль качества данных, отслеживание задержек и сбоев загрузок
-
Проводить аудит текущих решений, выявлять точки роста
-
Профайлинг, оптимизация и рефакторинг существующих решений
-
Поддерживать и развивать ETL-инфраструктуру и интеграционное ПО, участвовать в разборе инцидентов
-
Собирать и уточнять требования к данным вместе с аналитиками и бизнес-заказчиками
-
Участвовать в анализе данных: выявление зависимостей, построение логических связей, подготовка данных для аналитики
-
Вести задачи в Jira: оценка, декомпозиция, контроль выполнения
Условия:
-
График работы 5/2, с 09:00 до 18:00;
-
Корпоративная мобильная связь;
-
Добровольное медицинское страхование;
-
Оплата части расходов по фитнесу