Старший инженер по качеству данных (DQ)
Summary
Senior data-quality engineer building checks and tools to validate corporate data pipelines, telemetry, and external sources using SQL, Python, and tools like PostgreSQL, ClickHouse, and AirFlow.
Сейчас мы в поиске DQ на проект корпоративного хранилища данных.
Цели проекта:
- Анализ качества источников корпоративного хранилища данных;
- Оценка скорости и полноты получения данных по дата-контрактам;
- Поиск и идентификация аномалий в данных телеметрии и внешних источниках.
Чем предстоит заниматься:
- Участием в процессе формирования требований к моделям данных и дата-контрактам;
- Оценкой качества источников данных и разработкой инструментов DQ;
- Участием в проектах по развитию ETL и DWH;
- Разработкой скриптов на SQL и Python.
- Опыт работы с PosgreSQL, ClickHouse, S3, Kafka, AirFlow, Grafana;
- Понимание теории СУБД и ETL-процессов;
- Опыт работы с базами данных в качестве разработчика от 1 года;
- Знание основных подходов и инструментов к оценке качества данных;
- Свободное владение SQL;
- Будет плюсом знание Spark.
- Работу в аккредитованной ИТ-компании;
- Шаг в космос - для тех, кто вдохновлен идеей покорения космоса и мечтает быть к этому причастным;
- Возможность выбора формата работы (офис/удаленка/гибрид);
- Комфортный современный лофт-офис в 5 минутах от метро "Улица 1905 года";
- Оформление в соответствии с ТК РФ;
- Конкурентный уровень заработной платы - на уровне лидеров ИТ/телеком-индустрии.