Data Engineer в команду Лояльности

Объединённая компания Wildberries и Russ — это международная технологическая компания, образованная в результате слияния двух лидеров рынка — IT-компании Wildberries и оператора наружной рекламы Russ. Мы запускаем сервис-агрегатор, который будет формировать единый портрет пользователя WB. Зачем это нужно? Сейчас данные о клиентах распределены по разным доменам и системам, из-за чего получение всей информации о пользователе занимает время и требует агрегации. Мы хотим создать единый источник, который будет собирать, стандартизировать и предоставлять эти данные в удобном виде.

Проектировать и реализовывать ETL-пайплайны на основе требований;

Интегрировать данные из различных источников (Kafka, S3, Greenplum, Clickhouse БД, API) в DWH

Реализовывать преобразования данных с учётом бизнес-логики и требований к качеству

Обеспечивать надёжность пайплайнов

Разрабатывать DQ-проверки (валидность, полнота, консистентность) и встраивать их в пайплайны

Оптимизировать производительность обработки данных

Уверенный SQL (сложные запросы, оконные функции, оптимизация)

Практический опыт с Python для обработки данных

Опыт автоматизации пайплайнов в Airflow

Понимание архитектуры DWH / Data Lake

Опыт построения и поддержки ETL-пайплайнов

Опыт работы с БД ClickHouse и Kafka

Обучение и развитие: языковые клубы, собственный корпоративный университет, программы развития управленческих навыков и многое другое;

Благополучие сотрудников: корпоративный пакет ДМС со стоматологией, корпоративный спорт, консультации психолога и дополнительные возможности аккредитованной IT-компании;

Множество сообществ: клуб спикеров, футбола, йоги, шахмат и т.д.;

Забота о семьях: создаем условия, в которых легко сочетать карьеру и заботу о близких – от гибкого подхода до масштабных проектов для детей сотрудников;

Скидки и партнерские программы: на обучение, страхование, покупки и многое другое;

Комфортная рабочая среда: бесплатное питание в офисе, современные офисы рядом с метро, корпоративная техника и портал для сотрудников.