DevOps инженер в Платформу данных

Объединённая компания Wildberries и Russ — это международная технологическая компания, образованная в результате слияния двух лидеров рынка — IT-компании Wildberries и оператора наружной рекламы Russ. Платформа данных - ведет разработку инфраструктуры вокруг всех данных нашего маркетплейса. Здесь проходит путь от рождения данных до их хранения: агенты, фреймворки, предобработки, миграции. Проект является центральной дата структурой компании. Глобальная задача: строительство центральной платформы данных.

Помогать команде Data Engineering в диагностике и устранении потенциальных инфраструктурных проблем, влияющих на выполнение Airflow DAGs;

Поддерживать команды Data Engineering по вопросам, связанным с Kubeflow Spark. Operator: проверка гипотез, помощь в отладке и подготовка тестовых SparkApplication;

Разрабатывать базовые Helm-чарты для быстрого прототипирования и проверки инфраструктурных гипотез;

Участвовать в миграции Airflow 2.x на Airflow 3.x;

Собирать требования к библиотекам и внесение изменений в Docker-образы, используемые Data Engineering-командой;

Развивать CI/CD-процессов для сборки и доставки DBT-моделей, включая blue-green deployment.

Уверенный опыт работы с Airflow в роли инфраструктурного инженера; понимание архитектуры Airflow и различий между LocalExecutor, KubernetesExecutor и CeleryExecutor;

Базовые, но уверенные знания Kubernetes и способность оперативно диагностировать и устранять типовые проблемы на уровне Deployment, StatefulSet, CRD и PVC;

Понимание принципов работы Helm, умение дорабатывать существующие Helm-чарты и создавать новые; опыт работы с umbrella chart будет преимуществом;

Базовое понимание GitOps-подхода и практический опыт работы с Argo CD будет преимуществом;

Базовый опыт работы с GitLab CI, включая умение собирать и поддерживать CI/CD-пайплайны на основе шаблонов;

Готовность брать ownership за критичные инсталляции и сервисы, с которыми ежедневно работают команды Data Engineering.

Обучение и развитие: языковые клубы, собственный корпоративный университет, программы развития управленческих навыков и многое другое;

Благополучие сотрудников: корпоративный пакет ДМС со стоматологией, корпоративный спорт, консультации психолога и дополнительные возможности аккредитованной IT-компании;

Множество сообществ: клуб спикеров, футбола, йоги, шахмат и т.д.;

Забота о семьях: создаем условия, в которых легко сочетать карьеру и заботу о близких – от гибкого подхода до масштабных проектов для детей сотрудников;

Скидки и партнерские программы: на обучение, страхование, покупки и многое другое;

Комфортная рабочая среда: бесплатное питание в офисе, современные офисы рядом с метро, корпоративная техника и портал для сотрудников.