Skip to content
Search jobs inside your AI agent. Claude, ChatGPT, Claude Code, Codex, Gemini, Cursor and Grok
Connect

ВСК, САО

NewBe an early applicant

Data Engineer (Hadoop/Spark)

Posted

Description

О проекте: Сейчас мы находимся в поисках Data Engineer (Hadoop/Spark) в команду, которая занимается полным циклом внедрения математических моделей (ML моделей)

Наш стек: Мы все работаем на современной ML-платформе.

Используем PySpark, SQL, Python, Airflow для оркестрации DAGов, MLFlow для регистрации моделей и Feature Store для хранения фичей

Наша команда: 7 человек: DE, DS, DA и MLE

Чем предстоит заниматься:

  • Формирование датасетов, поиск и подгрузка данных
  • Автоматизация Data Pipelines
  • Разработка ETL-процессов для интеграции данных из различных внутренних и внешних источников
  • Оптимизация сборки датасетов и работа с багами
  • Подготовка данных для внедрения математических моделей в конвейер принятия решений

Что мы ждем:

  • Опыт в направлении от 3 лет
  • Опыт с Apache Airflow: настройка, оптимизация, DAG на Python
  • Знание SQL на уровне сложных запросов и оптимизации
  • Знание Python на Middle уровне
  • Высшее образование

Будет плюсом:

  • Опыт работы с Pyspark, Scala
  • Знание потоковых данных (Kafka, Spark Streaming)
  • Опыт работ с Docker, Kubernetes

Skills

Apply

See also

Data Engineering jobs by country — openings, pay and top skills →