Data Engineer
Posted Updated 10
views
Summary
Builds and optimizes data pipelines, transforms models into services, and automates reports using Python, Airflow, Vertica, ClickHouse, and PySpark for Ozon’s ecommerce platform.
Нужен Data Engineer, который сможет взять на себя часть непрофильной для аналитиков работы по автоматизации отчётов, превращению моделей в сервисы, оптимизации запросов, а также сможет выстроить процесс код ревью, CI\CD Pipeline.
Наш стек: MPP (Vertica, ClickHouse), Python+ Airflow, Hive, PySpark.
Вам предстоит:
- Работать со слоями данных RAW, ODD, DDS: создавать их и развивать;
- Проектирование и разработка витрин данных для анализа и моделирования;
- Оптимизация процессов ETL, система мониторинга обновления витрин и источников данных;
- Изучение способов повышения качества и надёжности данных;
- Предоставление экспертной поддержки по оптимизации обработки данных на клиенте: Jupyter + Python;
- Поддержка и развитие базы знаний.
Мы ожидаем:
- Отлично знаешь SQL, знаком с Vertica, Clickhouse, владеешь концепцией DWH;
- Умеешь программировать на Python;
- Знаком с командной строкой Unix-систем;
- Есть опыт работы с BI-инструментами: в идеале Superset, но опыт с другими BI тоже подойдет, если ты готов осваивать новый инструмент;
- Работал с Airflow, Hadoop, Spark (Pyspark), Gitlab;
- Хорошо представляешь, как работает e-com;
- Способен взять ответственность свое направление и готов к самостоятельному решению задач с большой степенью неопределенности.