Программист группы BI и отчетность по направлению Data Engineer
Posted Updated
Summary
Data Engineer in the BI & reporting group of ETM, a large Russian distributor of engineering systems: designs Vertica tables and data marts, builds and tunes resilient ETL/ELT pipelines, monitors performance, and supports testing — working with SQL, Python, Airflow/NiFi, Kafka/Spark Streaming, and ClickHouse/Greenplum.
ЭТМ — это комплексный федеральный поставщик инженерных систем, входящий в список 200 крупнейших* компаний России
Обязанности:
- Проектирование таблиц для фиксации первичных данных и производительных витрин данных для последующего BI-анализа (Vertica) с учетом требований на загрузку данных .
- Поддержка и расширение формата имеющихся таблиц и витрин.
- Настройка ETL/ELT процессов с акцентом на эффективность и отказоустойчивость.
- Мониторинг и оптимизация производительности (ETL/ELT процессов; выборки данных) .
- Проведение тестирования по итогу разработки таблиц/витрин.
- Сопровождение бизнес-тестирования витрин данных.
- Подготовка описаний ETL/ELT процессов.
- В качестве дополнения - формирование фоновой отчетности на основе данных аналитической СУБД.
- Участие в проектных совещаниях, предусмотренных по проектам.
- Участие в процессе ревью проектирования таблиц в разных ролях (автор или рецензент).
- Глубокие знания SQL, опыт работы с реляционными/не реляционными БД.
- Знание Python (базовые алгоритмы и структуры данных, работа с БД, с файлами).
- Понимание принципов построения хранилищ данных (Data Warehouse, Data Lake) на Vertica.
- Опыт работы с большими данными (Clickhouse, Greenplum, Vertica).
- Опыт работы с ETL/ELT инструментами (Apache AirFlow, NiFi и тд).
- Наличие минимальных представлений о cmd/bash shell (scheduler/cron).
- опыт работы с инструментами потоковой загрузки данных (Apache Kafka, Apache Spark Streaming).
- Навыки программирования Python (опционально JAVA, php).
- Опыт обеспечения надежности систем: обработка ошибок, мониторинг, тестирование.
- Использование инструментов командной разработки .
- Знание систем ведения задач проектов.
- Опыт сбора БТ на данные.
- Работа в аккредитованной российской IT-компании.
- Работа над масштабными, интересными проектами в управляющем центре крупной компании.
- Официальное трудоустройство с первого дня работы.
- Гарантии и льготы в соответствии с трудовым законодательством РФ.
- Современный офис в центре города (выделенные зоны приема пищи, обособленные места отдыха, корпоративный кофе).
- График: 5/2 с 08:30 до17:30 (в пятницу до 16:30);
- Бесплатные тренировки по футболу, тег-регби, настольному теннису, членство в беговом клубе.
- Скидки на матчи клуба "Зенит".
- Корпоративные скидки на изучение английского языка.
- Бесплатные билеты в Мариинский театр на ежемесячной основе.