Data Engineer Middle+/Senior
Posted Updated
Немного о нас: ggsel – маркетплейс цифровых товаров, с 2017 года мы в топе площадок СНГ. Более 6 миллионов пользователей ежемесячно выбирают нас за лучшие цены и качественную поддержку, а за последний год мы выросли в 4 раза. И наша цель – не просто удержать позиции, а перевернуть рынок цифровой торговли: сделать его честным, удобным, быстрым и выйти в лидеры цифровой коммерции, в том числе на международном рынке. Сейчас продукт находится на этапе серьезной трансформации, и мы собираем сильную инженерную команду. У нас уже работают ребята из Додо, Яндекс.Маркета, Самоката и Авито.
Мы ищем Дата-инженера для аудита, доработки и поддержки текущих решений.
Стек: ClickHouse, SQL, Python, Airflow, dbt, PostgreSQL, Docker, Git.
Основные задачи
-
Разработка и поддержка пайплайнов
-
Проектирование ETL/ELT-процессов для переноса данных из PostgreSQL и других источников в ClickHouse.
-
Написание надёжных и идемпотентных DAG в Airflow для регулярного обновления витрин данных.
-
Построение слоёв данных с использованием dbt.
-
Обеспечение качества данных: тесты, проверка свежести, мониторинг аномалий.
-
Оптимизация хранилища и производительности
-
Тюнинг ClickHouse: настройка схем таблиц под конкретные бизнес-запросы, устранение узких мест.
-
Оптимизация SQL-запросов для снижения нагрузки на БД.
-
Управление ресурсами кластера ClickHouse: CPU, RAM, Disk I/O.
-
Контроль стоимости хранения.
-
Администрирование и надёжность
-
Обеспечение отказоустойчивости: настройка репликации и бэкапов.
-
Мониторинг состояния пайплайнов и баз данных.
-
Оперативное реагирование на инциденты.
Требования
-
Глубокое знание ClickHouse
-
Проектирование схем: Знание семейства движков MergeTree, выбор ключей партиционирования и сортировки для оптимального сжатия и скорости чтения .
-
Оптимизация запросов: Умение читать планы запросов, оптимизировать потребление памяти, настраивать материализованные представления (Materialized Views) и проекции.
-
Администрирование: Настройка шардирования и репликации, управление TTL, мониторинг слияний.
-
Инструменты ETL/ELT и Оркестрация
-
Оркестрация: Управление сбором данных через Apache Airflow.
-
Трансформация: Опыт работы с dbt для построения слоев данных.
-
Языки и Инфраструктура
-
Python: Разработка ETL-скриптов, работа с Pandas, интеграция с API.
-
SQL: Владение на уровне эксперта (аналитические запросы, оптимизация).
-
Инфраструктура: Docker (для развертывания ClickHouse), Git.
Условия
-
Удаленная работа из любой точки мира.
-
Конкурентная зарплата + performance премия 2 раза в год.
-
Гибкий график и фокус на результат.
-
Оплата обучения, курсов и конференций.
-
Возможность реально влиять на продукт и команду.