Data Engineer
Обязанности:
- разрабатывать и документировать пайплайны обработки данных на Apache Airflow (Python, ANSI SQL);
- проектировать и реализовывать прототипы аналитических витрин на данных систем-источников;
- участвовать в построении корпоративного хранилища данных: от слоя первичных данных до витрин для бизнес-аналитики;
- организовывать процессы контроля качества данных (Data Quality): технические и бизнес-проверки, мониторинг и алертинг;
- формировать и описывать data-контракты на получение данных из систем-источников.
- опыт самостоятельной разработки DAG в Apache Airflow, в том числе создание переиспользуемых фреймворков/библиотек для пайплайнов;
- уверенное владение Python и основными библиотеками для обработки данных;
- опыт написания производительных SQL-запросов (MS SQL Server и/или PostgreSQL);
- опыт оптимизации SQL-запросов;
- базовые навыки администрирования СУБД;
- понимание принципов построения хранилищ данных (DWH);
- опыт интеграции с внешними системами через REST API.
-
будет преимуществом: понимание архитектуры 1С, опыт работы с BI-инструментами (Power BI, Superset, Tableau, Metabase), с ClickHouse, с брокерами сообщений (Kafka и аналоги).
- трудоустройство в соответствии с ТК РФ в аккредитованную ИТ-компанию;
- график работы: 5/2, с 9.00 до 18.00 Мск (удаленный формат или гибрид - по желанию);
- необходимые ресурсы предоставляются;
- ДМС после испытательного срока;;
- возможности профессионального развития.