Data Engineer (корпоративное хранилище)
Summary
Data engineer on Wildberries' corporate data warehouse / data platform team: builds ETL/ELT pipelines in Python and Apache Spark, optimizes data flows between Greenplum, ClickHouse, PostgreSQL and S3, tunes SQL/MPP performance, and helps evolve the data platform architecture. On-site role in Moscow.
Разрабатывать и развивать инструменты платформы данных;
Разрабатывать и оптимизировать процессы импорта и экспорта данных между Greenplum, ClickHouse, PostgreSQL и S3;
Работать с большими объемами данных и распределенными системами;
Разрабатывать ETL/ELT-процессы на Python и Apache Spark;
Участвовать в проектировании и развитии архитектуры платформы данных;
Разбираться в производительности SQL-запросов и оптимизации работы MPP-систем;
Взаимодействовать с Data Engineers, аналитиками и другими командами, использующими платформу;
Поддерживать и развивать техническую документацию.
Владеете уверенным знание Python и имеете опыт промышленной разработки;
Владеете продвинутым SQL;
Имеете практический опыт работы с Apache Spark;
Имеете опыт работы с реляционными СУБД: PostgreSQL, Oracle, MS SQL или аналогами;
Имеете опыт работы с MPP / распределенными СУБД;
Имеете опыт работы с одним или несколькими оркестраторами, желательно Apache Airflow;
Имеете опыт работы с Git и командной разработкой;
Имеете опыт работы с S3 или объектными хранилищами.
Обучение и развитие: языковые клубы, собственный корпоративный университет, программы развития управленческих навыков и многое другое;
Благополучие сотрудников: корпоративный пакет ДМС со стоматологией, корпоративный спорт, консультации психолога и дополнительные возможности аккредитованной IT-компании;
Множество сообществ: клуб спикеров, футбола, йоги, шахмат и т.д.;
Забота о семьях: создаем условия, в которых легко сочетать карьеру и заботу о близких – от гибкого подхода до масштабных проектов для детей сотрудников;
Скидки и партнерские программы: на обучение, страхование, покупки и многое другое;
Комфортная рабочая среда: бесплатное питание в офисе, современные офисы рядом с метро, корпоративная техника и портал для сотрудников.