Data Engineer/Такси
Summary
Data Engineer for WB Taxi (Wildberries' ride-hailing service), building and maintaining ETL/ELT pipelines and helping migrate data loading onto a new ClickHouse-based data platform. Day-to-day: orchestration (Airflow), Docker/Kubernetes, CI/CD automation, monitoring/alerting, and improving pipeline reliability and performance.
Разрабатывать и поддерживать ETL/ELT-пайплайны для загрузки и обработки данных из различных источников;
Участвовать в миграции существующих процессов загрузки данных на новую data-платформу на базе ClickHouse;
Развивать и поддерживать инструменты оркестрации и обработки данных;
Автоматизировать процессы разработки и эксплуатации data-платформы: CI/CD, тестирование, развёртывание и управление конфигурациями;
Развивать наблюдаемость платформы: настраивать мониторинг, логирование и алерты, участвовать в расследовании и устранении инцидентов;
Повышать надёжность и производительность пайплайнов: оптимизировать выполнение задач, обеспечивать повторную обработку данных и восстановление после сбоев.
Опыт работы Data Engineer от 2 лет;
Уверенное знание Python и SQL, опыт разработки и сопровождения data-пайплайнов;
Практический опыт работы с Docker, Kubernetes и инструментами CI/CD (GitLab CI или аналоги);
Опыт работы с Apache Airflow или другим оркестратором, понимание принципов построения надёжных процессов обработки данных;
Опыт работы с ClickHouse или другими аналитическими СУБД, понимание принципов построения DWH и инкрементальных загрузок;
Опыт диагностики технических проблем, понимание принципов мониторинга, логирования и обеспечения отказоустойчивости систем.
Обучение и развитие: языковые клубы, собственный корпоративный университет, программы развития управленческих навыков и многое другое;
Благополучие сотрудников: корпоративный пакет ДМС со стоматологией, корпоративный спорт, консультации психолога и дополнительные возможности аккредитованной IT-компании;
Множество сообществ: клуб спикеров, футбола, йоги, шахмат и т.д.;
Забота о семьях: создаем условия, в которых легко сочетать карьеру и заботу о близких – от гибкого подхода до масштабных проектов для детей сотрудников;
Скидки и партнерские программы: на обучение, страхование, покупки и многое другое;
Комфортная рабочая среда: бесплатное питание в офисе, современные офисы рядом с метро, корпоративная техника и портал для сотрудников.