Data Engineer (в DS команду)
Summary
Builds and maintains data pipelines and warehouses for a data science team using Spark, Python, and SQL to support ML workloads.
Навыки: Apache Spark, Python. Специализации: Инженер по данным.
Мы ищем Data Engineer в команду Data Science.
Задачи:
- Создание и поддержка витрин для нужд команды Data Science;
- Настройка и поддержка ETL;
- Повышение и поддержка качества данных.
Что пригодится:
- Опыт работы от 2 лет с данными, нужными для ML-решений — особенности хранения, архитектура, эффективная историчность;
- Опыт работы с DS-командой/задачами, опыт сбора ТЗ у DS и его формализации;
- Опыт работы с Spark и MPP базами данных;
- Опыт работы с dbt (большой плюс), Airflow, HDFS, Hive;
- Опыт с Python, SQL, Git, Docker;
- Настройка систем мониторинга процессов ETL;
- Английский язык на уровне чтения документации.