Data инженер

#middle #удаленка

Полная занятость
Формат работы: можно удалённо

☑️ Чем предстоит заниматься
-На текущий момент мы подготовили инфраструктуру на базе Hadoop и GreenPlum для загрузки, обработки и построения витрин данных. Описали и загрузили данные нескольких продуктов холдинга и приступили к описанию и загрузке следующих. Дальше планируем развивать и масштабировать инфраструктуру, запускать потоковое получение данных, увеличивать количество подключенных источников, развивать ETL и Reverse ETL, работать с качеством данных и развивать Data Catalog и Data Lineage
-Разрабатывать и дорабатывать ETL-процессы в Airflow
-Подключать новые источники данных
-Создавать и дорабатывать витрины
-Оптимизировать SQL-запросы в GreenPlum и PostgreSQL
-Работать с большими объемами данных
-Развивать процессы контроля качества данных

☑️ Наши пожелания к кандидатам
-Самостоятельный, убедительный, амбициозный, с лидерскими качествами (или умением сделать так, чтобы управлять не приходилось:) стремящийся к построению качественных процессов и, как следствие, качественному сбору, хранению и поставке данных
-От 1 года опыта работы с данными
-Отличное знание SQL: JOIN, оконные функции, процедуры
-Умение профилировать и оптимизировать запросы, понимать план выполнения
-Понимание принципов работы реляционных БД и архитектуры DWH: ODS, DDS, DM
-Практический опыт работы с Airflow и ETL-процессами
-Python на базовом уровне
-Знание Linux и умение работать с командной строкой
-Опыт работы с Git
-Понимание принципов работы Docker
-Опыт работы с большими данными (>100 GB)
-Опыт работы с DataHub

Контакты: hr@action.tech