Инженер данных
Posted Updated 6
views
Summary
Data engineer at Magnit Tech building batch ETL pipelines and Python backend services for data processing/external integrations, plus productionizing ML training and inference pipelines. Stack: Python, PySpark, FastAPI, PostgreSQL/ClickHouse/Greenplum/Trino, Airflow, MLflow, Docker/Kubernetes. Hybrid/office in Moscow or Krasnodar (remote from other RF cities possible).
Задачи
- Проектировать и разработать ETL-процессы (batch).
- Создавать backend-сервисы на Python для обработки данных и интеграции с внешними системами.
- Инжиниренно оптимизировать ML-проекты: рефакторить и оборачивать в продакшен пайплайны обучения и инференса, обеспечивая стабильность, воспроизводимость и наблюдаемость.
- Участвовать в проектировании хранилищ данных и оптимизации существующих решений.
- Стек технологий: Язык и фреймворки: Python 3, PySpark, Pandas, FastAPI, Pydantic Хранилища и вычисления: PostgreSQL, ClickHouse, Greenplum, Trino, S3 Оркестрация и ML: Apache Airflow, MLflow Инфраструктура: Docker, Kubernetes, Git, GitLab CI/C
Требования
- Опыт коммерческой разработки на Python не менее 2 лет; владение стандартной библиотекой и экосистемой data-разработки.
- Понимание принципов построения ETL/ELT-процессов.
- Опыт работы с распределёнными СУБД (Greenplum, ClickHouse) и вычислительными движками (Apache Spark, Trino).
- Оркестрация пайплайнов в Airflow.
- Верхнеуровневое понимание жизненного цикла ML-моделей.
- Основы CI/CD и DevOps: сборка, тестирование, деплой.
- Навыки работы в командной строке Linux.
- Контейнеризация (Docker).
- Использование ИИ-ассистентов в разработке (opencode или аналоги) для ускорения написания и ревью ко
Мы предлагаем
- Оформление в аккредитованную ИТ-компанию
- Конкурентоспособную заработную плату (обсуждается индивидуально)
- ДМС со стоматологией и льготными условиями для членов семьи
- Технику для работы
- График работы 5/2
- Работу в максимально уютном офисе в центре Москвы (ст. м. Савеловская), в Краснодаре или удаленно из других городов РФ, так же есть офисы в Санкт-Петербурге (ст. м. Балтийская) и в Иннополисе
- Возможность реализовать свой опыт и потенциал в интересных и многоплановых проектах
- Развитие – мы оплачиваем обучение на курсах и участие в конференциях
- Возможность проведения и участия в митапах, хакатонах, где есть возможность познакомиться с работой других подразделений
- Наличие корпоративных скидок PRIMEZONE и программ лояльности от компании
- Наличие корпоративной библиотеки курсов
- Возможность рекомендовать компанию своим друзьям, участвуя в реферальной программе